问题描述：

RT 今天刚尝试各个框架，在oneplus13T 16G+1TB 下测试。
由于各个框架之间模型文件差异太大就只能以同参数下模型来比较了，量化尽量保持Q4_k_M。
以4B模型来比较，8B模型基本平衡能力和速度。
image1079×284 37.4 KB
第一个是来自Google的liteRT 前端 Google AI Edge Gallery
仅支持30个模型，其软件内置推荐下载的模型就是最高水平了，gguf转换其框架模型文件遭遇失败。
图中是gemma3n-E4B
唯一支持使用GPU来运行模型，但似乎水土不服内存溢出。
支持多模态，速度也在合理水平。
优点：效率高，速度快，多模态，颜值高
缺点：模型数量少，实验性应用支持不完善
image590×1280 90.6 KB
第二位是来自阿里的MNN框架 前端MNN Chat
支持国内外较多模型，Qwen全系，ds的蒸馏模型和一些视觉模型都有。
多模态支持完善但功能不好用，虽然支持本地语音生成图像生成等，但是生成的语音没办法下载。
基础功能完善度最高，我基本使用它来作为端侧AI。
优点：多模态支持较好，MNN效率高，基础功能完善，模型数量多
缺点：功能不完善
image1080×2344 124 KB
image344×2560 110 KB
第三位 pocketpal
目测应该底层llama.cpp
能支持加载自定义模型，可以加载无限制模型，直接从hf上下载。
功能支持的很多，有pal也就是插件，基础功能完善。
多模态支持最丰富。
缺点就是效率一般，发热较大，但和比termux+ollama比肯定是高并且易用多的了
与MNN比较来说还是差太多。
还有bug比较多，不过也不能确定是模型在arm下的问题还是应用的问题。
输出截断问题虽然可以通过拉长上下文解决但是思考模型输出容易卡在思考里。
image1080×2344 181 KB
原版无法通过此测试
image1080×2344 135 KB
输出不止，过度思考。

总结

在手机上端侧AI普通用户使用MNNchat足矣，高端用户可增加pocketpal解锁更多模型。

网友解答：

---

--【壹】--：

评价是端侧AI基本是伪需求，除了隐私的优点外并没有什么适合普通用户的地方。是个玩具。

---

--【贰】--：

我一会试试

---

--【叁】--：

佬，后来还继续深入研究了吗，我看腾讯也有个 ai 框架：GitHub - Tencent/ncnn: ncnn is a high-performance neural network inference framework optimized for the mobile platform · GitHub

---

--【肆】--：

mnn速度很快，而且已经支持API服务，在其他app调用，功能更完善

---

--【伍】--：

好处是在飞机上可以打发时间