受够了，开始跑本地模型

问题描述：

RT，苦于没有token，干脆，不干了

直接怒下单

M5 Pro，18+20，64G+1T，想搞一搞蒸馏版的Qwen3.5-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled

各位佬有啥指导性意见，或者有什么好的模型可以推荐的？

网友解答：

---

--【壹】--：

刚好就可以试试这个项目了

X好文分享，技术类

谷歌内存论文破解 https://x.com/k1rallik/status/2038567965465944491?s=46

---

--【贰】--：

装满血版，512G内存那款，原地起飞！

---

--【叁】--：

佬买的是macbook pro吗？

---

--【肆】--：

事实就是本地模型就是比在线的SOTA模型差很多，参数规模上就比不上，属于超出玩具水平，但实际生产力瓶颈

---

--【伍】--：

我的设备部署不了，所以觉得35B好

---

--【陆】--：

有点费钱哈哈

---

--【柒】--：

千问真的很垃圾啊。 那还不如用英伟达免费的慢慢熬

---

--【捌】--：

你这个帖子太欢乐了

个人算力捅破天也连渣渣都算不上

---

--【玖】--：

m5 pro a3b 4bit 也只有40 t/s ? (3090 最少能跑50 t/s以上)

所以說真的想跑本地大模型的，買m4多的錢買台式nvidia還比較划算

真的要編程3.5-27b的比較合適點。。。

但是跟市面上的御三家，等級還是差太多太多

---

--【拾】--：

英伟达太慢了有点。。。