有没有人试过在本地部署小模型（而且还是量化后的），体验如何，有什么价值可以挖掘吗？

问题描述：

这是来自ollama的截图。

image1556×658 39.9 KB
有没有人试过本地部署量化后的模型表现是啥样的。

网友解答：

---

--【壹】--：

自己折腾了一下部署了蒸馏了 Claude opus 4.6的 qwen 3.5 27b 的那个模型，都没怎么用，感觉没啥应用场景

---

--【贰】--：

3b以下的基本只能用来做补全，9b左右当玩具已经合格了，还能用来做一些简单的前置判断。但个人部署的这个性能还是不够看，总的来说个人玩确实只能玩，就算要用也是用云端部署好的，用小模型主要图的是一个快和便宜(某些用途除外)。

---

--【叁】--：

不要期待小模型的智能，但是可以当文本转换器/过滤器用。假如说我部署 qwen 3.5 27B fp8，也许可以帮助进行诸如识图、格式整理、翻译之类的工作

总的来说，价值不是太大。不如生图/音频/视频

---

--【肆】--：

一般来说，

可以再一般使用者的机器上可以跑的模型

都无法用来编程。

你要跑 glm5 也需要几百 GB 的 VRAM。

---

--【伍】--：

简单需求可以用

---

--【陆】--：

对普通人唯一的作用就是好玩，能折腾