微软开源 - 本地大模型布署的新CPU推理优化方案 bitnet.cpp

问题描述：

微软的bitnet.cpp 开源项目对CPU推理进行了优化，对想在本地跑大模型的同学是个好消息。

这是一个专门用于 1-bit LLM 推理的框架。最大的突破是让 100B 参数级别的模型能直接在 CPU 上跑，不再强制依赖昂贵的 GPU 集群。

官方给的数据很猛：

1. 推理速度提升 6.17 倍
2. CPU 能耗降低 82.2%

以后在 MacBook 或者普通服务器上跑超大模型，可能不需要再为了显存发愁了。

github.com

GitHub - microsoft/BitNet: Official inference framework for 1-bit LLMs

Official inference framework for 1-bit LLMs

image1920×2273 395 KB
image806×364 21.2 KB

网友解答：

---

--【壹】--：

我怎么感觉很熟悉？很早就有了？

---

--【贰】--：

虽然但是，这个好像是旧闻欸佬
bitnet

---

--【叁】--：

真的假的，好用吗？谁来说说
用过的
要是这么好用老电脑可以用起来了

---

--【肆】--：

那至少放个changelog

---

--【伍】--：

不错啊，巨硬还是有实力哦

---

--【陆】--：

啊，那搞错了，对不起佬

---

--【柒】--：

谢谢提醒！

---

--【捌】--：

1bit压缩率过高, 还是太残了, 聊天完全聊不下去.

做到4bit就差不多了.

---

--【玖】--：

再看看， 项目是开源的， CPU优化方案是新出现的
image681×357 20.6 KB

---

--【拾】--：

这就去看看，感谢大佬

---

--【拾壹】--：

哈哈哈笑死了，超级旧闻