手机端侧AI框架主观评价

问题描述：

RT 今天刚尝试各个框架，在oneplus13T 16G+1TB 下测试。
由于各个框架之间模型文件差异太大就只能以同参数下模型来比较了，量化尽量保持Q4_k_M。
以4B模型来比较，8B模型基本平衡能力和速度。
image1079×284 37.4 KB
第一个是来自Google的liteRT 前端 Google AI Edge Gallery
仅支持30个模型，其软件内置推荐下载的模型就是最高水平了，gguf转换其框架模型文件遭遇失败。
图中是gemma3n-E4B
唯一支持使用GPU来运行模型，但似乎水土不服内存溢出。
支持多模态，速度也在合理水平。
优点：效率高，速度快，多模态，颜值高
缺点：模型数量少，实验性应用支持不完善
image590×1280 90.6 KB
第二位是来自阿里的MNN框架 前端MNN Chat
支持国内外较多模型，Qwen全系，ds的蒸馏模型和一些视觉模型都有。
多模态支持完善但功能不好用，虽然支持本地语音生成图像生成等，但是生成的语音没办法下载。
基础功能完善度最高，我基本使用它来作为端侧AI。
优点：多模态支持较好，MNN效率高，基础功能完善，模型数量多
缺点：功能不完善
image1080×2344 124 KB
image344×2560 110 KB
第三位 pocketpal
目测应该底层llama.cpp
能支持加载自定义模型，可以加载无限制模型，直接从hf上下载。
功能支持的很多，有pal也就是插件，基础功能完善。
多模态支持最丰富。
缺点就是效率一般，发热较大，但和比termux+ollama比肯定是高并且易用多的了
与MNN比较来说还是差太多。
还有bug比较多，不过也不能确定是模型在arm下的问题还是应用的问题。
输出截断问题虽然可以通过拉长上下文解决但是思考模型输出容易卡在思考里。