【教程】 Mac 端 LMStudio 本地部署 Qwen3.5-9B-MLX-4bit，多模态超强

问题描述：

下载模型

https://huggingface.co/mlx-community/Qwen3.5-9B-MLX-4bit

PixPin_2026-03-03_02-29-241009×904 77.5 KB

上下文拉满
PixPin_2026-03-03_02-33-221009×904 59.5 KB

关闭思考方法
顶部加一行

{%- set enable_thinking = false -%}

PixPin_2026-03-03_02-23-091006×904 75.5 KB

效果
image1006×904 113 KB
PixPin_2026-03-03_02-42-431183×819 77.5 KB
PixPin_2026-03-03_02-48-53817×1208 105 KB

开启 API 服务

lms server start --port 1234

Mac mini M4，功耗 40W，速度 21t 左右，多模态很强，内存占 7G 左右，普通聊天首字1s

网友解答：

---

--【壹】--：

我一天睡很多轮觉

---

--【贰】--： Mozi:

Mac mini M4

佬的M4是什么配置？

---

--【叁】--：

这个模型非常神奇，这么小的参数还有这么强的视觉和推理能力

---

--【肆】--：

这个应该不支持直接导入PDF吧

---

--【伍】--：

还没有测

---

--【陆】--：

0.8b翻译质量如何呢

---

--【柒】--：

试了个4b,第二轮就开始无限循环了

---

--【捌】--：

PixPin_2026-03-03_02-48-53817×1208 105 KB

---

--【玖】--：

qwen 算是立起来了，可能以后很多应用会使用这个小模型在用户手机上跑

---

--【拾】--： Mozi:

PixPin_2026-03-03_02-53-121161×894 113 KB

就算是这个 9B 模型视觉也是仅次于 Gemini

这模型看时钟比我还强www

---

--【拾壹】--：

完全可以弄一个 0.8B 的模型用于翻译，完全不影响日常使用

---

--【拾贰】--：

PixPin_2026-03-03_02-53-121161×894 113 KB

就算是这个 9B 模型视觉也是仅次于 Gemini

---

--【拾叁】--：

这个对文献识别能力如何？ PDF的那种

---

--【拾肆】--：

24G，256，加了扩展坞和 1T

---

--【拾伍】--：

感觉在小模型里算是很不错的了，可以部署到很多应用场景上了，可以用来做OCR？
比传统OCR要强很多了吧这个
（上次看Mozi佬发的B站视频那个，确实很强了那个）

---

--【拾陆】--：

感谢分享

---

--【拾柒】--：

带思考 的模式真是让人喜欢又让人愁，我只说了一句话，他给我搞个 2 分钟

---

--【拾捌】--：

mozi佬这个点还没睡？还在玩模型啊

---

--【拾玖】--：

多模态这个太强了啊，还这么小