本地云端混合切换：Operit 按需调度大小模型
为什么需要混合切换
| 维度 | 本地模型 | 云端模型 |
|---|---|---|
| 延迟 | 快（<1s） | 慢（网络往返） |
| 成本 | 免费（本地） | 按 token 计费 |
| 隐私 | 对话不出设备 | 对话发给供应商 |
| 质量 | 7B 已不错但不如 GPT-4o | 400B 级推理能力 |
| 离线 | ✓ 完全离线 | ✗ 必须联网 |
| 散热 | 手机发热 | 无 |
混合策略：日常简单对话用本地小模型（快、省、隐私），复杂推理 / 多模态 / 长上下文自动切云端大模型。
Operit 的混合能力
Operit v1.11+ 支持多模型配置 + 自动路由——你可以同时配多个本地和云端模型，让 Agent 根据任务难度自动选择，或在对话中手动切换。
配置方式
- 模型配置页添加多个模型（如：本地 Qwen2.5-1.5B-Q4 + 云端 DeepSeek-V3）
- 设置默认路由规则（可选）：
- 简单任务 → 本地小模型
- 复杂推理 → 云端大模型
- 网络不可用时 → 强制本地
- 对话界面顶部有模型选择器，可随时手动切换
手动切换
对话里直接说：
「这个问题比较复杂，用 GPT-4o 来回答」「先本地模型随便聊聊，等我要写代码时再切云端」
混合策略实战
策略一：隐私优先
- 默认本地 Qwen2.5-7B（离线可用，对话不出设备）
- 涉及联网搜索或外部 API 时才切云端
- 适合敏感内容讨论和资料处理
策略二：成本优先
- 默认本地 1.5B（速度快，完全免费）
- 回答质量不够时 Agent 自动建议切大模型
- 省钱，但需要时能升级
策略三：质量优先
- 默认云端 DeepSeek-V3 / GPT-4o
- 断网或日常闲聊时切本地 1.5B
- 效果最好但有网络依赖和成本
策略四：移动办公应急
- 高铁上 → 本地 GGUF 离线，网络差不怕断
- 到办公室 → 自动切云端大模型处理复杂任务
- 手机自动按网络环境切换
本地模型推荐
混合场景下，本地模型主要承担简单日常对话，选 1.5B 档够用：
| 模型 | 引擎 | 内存 | 说明 |
|---|---|---|---|
| Qwen2.5-1.5B-Q4 | llama.cpp | ~2GB | 中文好，质量够 |
| Qwen2.5-1.5B-MNN | MNN | ~1GB | 速度最快 |
| TinyLlama-1.1B | 两者都行 | ~500MB | 超轻量入门 |
云端模型推荐
| 用途 | 推荐 |
|---|---|
| 中文日常 | DeepSeek-V3（国内速度快，便宜） |
| 复杂推理 | DeepSeek-R1 / GPT-4o |
| 英文内容 | GPT-4o / Claude 3.5 Sonnet |
| 视觉理解 | GPT-4o（vision）/ Claude 3.5 Sonnet |
| 长上下文 | Gemini 1.5 Pro（1M token） |
注意事项
- 模型之间不共享上下文：切模型后对话历史在新模型那边是空白的，需要手动让新模型「先读一遍之前的对话」或重新描述
- token 成本：云端模型按 token 计费，长对话切换频繁会累加
- 模型选择记忆：Operit 会记住你在某个对话里用哪个模型，下次自动继续用
- 离线回退：配置了本地模型后，网络断了自动回退，不会报错