MNN 本地推理引擎：移动端速度优化首选

MNN 是什么

MNN 是阿里巴巴开源的移动端轻量级推理引擎，主打速度优化——针对 ARM Android 芯片做了大量 SIMD 指令级优化，在骁龙 8 系旗舰机上跑小模型能到 10–20 tok/s。

Operit v1.6 起内置 MNN 引擎，和 llama.cpp 形成双推理路线。MNN 偏移动端速度优先，llama.cpp 偏生态兼容优先。

MNN 支持的模型

MNN 有自己的模型格式（.mnn），不是通用的 GGUF。但社区已有多个热门模型的 MNN 转换版本：

模型	大小	适用
Qwen2.5-1.5B-MNN	约 1GB	日常对话，速度最快
TinyLlama-1.1B-MNN	约 500MB	超轻量入门
Qwen2.5-3B-MNN	约 2.5GB	复杂推理，仍较快
Llama-3.1-8B-MNN	约 5GB	需要较大内存

Operit 内置了部分小模型的下载入口，也支持手动把 .mnn 文件放到 models/ 目录。

在 Operit 里使用 MNN

方式一：内置下载

Operit 模型配置页里有「本地模型推荐」或类似入口，可直接下载社区主流 MNN 小模型。下载完自动注册为可用模型。

方式二：手动放置

从可信社区渠道获取 .mnn 格式的模型文件
放到 Operit 的 models/ 目录（通常在 Android 存储的 Operit 数据目录下）
在模型配置页点「扫描」或「添加本地模型」
选择 MNN 引擎 + 指定模型文件路径

方式三：自动转换（高级）

如果你手上只有 GGUF 或其他格式的模型，可以：

电脑上用 MNN 官方工具 mnnconvert 转成 .mnn 格式
把转换好的文件传到手机的 models/ 目录
按方式二配置

转换命令示例（在电脑上）：

mnnconvert --modelFile model.gguf --MNNModel model.mnn --modelType Transformer

具体参数参考 MNN 官方文档。

性能参考（骁龙 8 Gen 2）

模型	内存占用	推理速度	适用
TinyLlama-1.1B	~500MB	18–22 tok/s	极轻量，速度快
Qwen2.5-1.5B	~1GB	12–16 tok/s	主力日常对话推荐
Qwen2.5-3B	~2.5GB	6–10 tok/s	复杂推理，仍可接受

对比 llama.cpp GGUF 路线，同量级模型 MNN 快约 30–50%，但 GGUF 生态丰富得多。

MNN vs llama.cpp 怎么选

维度	MNN	llama.cpp
速度	更快	中等
模型格式	.mnn（需转换）	GGUF（通用格式）
模型生态	转换版较少	非常丰富
内存效率	更高	中等
量化支持	INT8/INT4	Q4/Q5/Q6/Q8
上手难度	中等（需转格式）	低（直接放 GGUF）

建议：

日常对话 → MNN + Qwen2.5-1.5B（速度优先）
复杂任务 → llama.cpp + Qwen2.5-7B-Q4（质量优先）
两个都装 → Operit 支持同时配置多个本地模型，按需切换

常见问题

MNN 模型加载失败

.mnn 文件是否完整（大小是否合理）
是不是对应 Operit 版本支持的格式
部分老版本 Operit 需要更新才能识别新格式

速度比预期慢

确认没有和云端模型混淆（Operit 配置时注意引擎类型）
关闭其他后台应用释放内存
手机发热时会降频，等凉了再试
开发者选项里如果强制开启「4x MSAA」等 GPU 特性可能影响 MNN 性能