苹果芯片跑本地大模型的性能和意义

问题描述：

最近正好手头有两台苹果电脑，一台是满血版 MacBook Pro（M1 Pro，32GB+1TB，10 核 CPU + 16 核 GPU），另一台是 Mac Studio（M4 Max，128GB+1TB），我想借这个机会，看看苹果芯片在本地跑大模型时到底能做到什么程度。我想知道这两个问题：

1. 苹果芯片跑本地大模型，真实性能到底在什么水平；
2. 到了现在，本地部署这件事到底还有没有意义，意义又主要体现在哪。

我先贴我本地实际跑出来的一批结果，再聊聊我自己对“苹果芯片 + 本地大模型”这件事的判断，哪些是优势，哪些是想象，哪些场景值得投入，哪些场景其实不如直接用云端。

如果你们手里也有 M1/M2/M3/M4 不同机器，或者不同框架、不同量化的测试，也欢迎一起补数据，把这帖做成一个可参考的样本帖，而不只是单次跑分展示。

网友解答：

---

--【壹】--：

这次主要测试的是阿里新出的 Qwen3.6-35B-A3B，也穿插了一些其他模型和题目。

MacBook Pro 受制于内存限制，32GB 内存搭配 20GB 左右的模型都比较勉强，所以只能使用 4bit 量化版本，5.4bit、6bit 量化这种都跑不起来。但即使是 4bit 量化版，也依然能看出不错的理解力，很多题目里的“坑”它其实能识别出来。

为了避免最后只剩下主观印象，这篇文章主要看四类信号：

• 能否加载
• 生成速度
• 是否答对
• 错在什么地方

先说结论

1. 8bit 量化和完整版 BF16 差别不大。简单的问题，4bit、8bit 量化版本都能解决，也就是 128GB 电脑和 32GB 电脑都能完成，无非是速度问题。
2. 特别复杂的问题，本地大模型都难以胜任；目前看来，GPT Thinking 这类模型基本都解决了。
3. 也许在超长上下文的真实工程场景里，量化程度会凸显出差异。