Mac mini m4 部署无限制gamma4

问题描述：

1c782caee6c9ca6af705b399e02c2c631813×1074 159 KB
应该还行吧 丐版16g的机器了 晚点接入龙虾看看怎么样
image330×136 12.5 KB

网友解答：

---

--【壹】--：

什么量化版本的呀，tpm快不快，我有个24g的也想玩一玩

---

--【贰】--：

我现在是创了几个Ollama号整了个号池用Gemma4，还能顺便用其他免费模型

---

--【叁】--：

ollama上的么，pull的时候叫什么名字

---

--【肆】--：

无限制主要体现在什么地方，效果好吗，有没有评测

---

--【伍】--：

16G？能部署什么量化啊，感觉不太够啊，期待分享详细情况

---

--【陆】--：

智力估计很低下了。刚才看另一个贴的佬用M5 max 128g部署gemma4 30b都才20token啊

---

--【柒】--：

e4b 4bit模型 你可以去抱脸看一下 或者直接下载omlx，安装

---

--【捌】--：

速度怎么样，我的部署速度很慢，几乎是不可用状态

---

--【玖】--：

不知道Gemma4量化版本能对标哪个模型，开源的是不是相对来说可能还是比较玩具的层面？实际生产干活估计还是得接Opus，GPT之类的吧？

---

--【拾】--：

16G居然能跑，哪个模型？ 我不关心速度啊，我关心的是能干嘛，本地模型

---

--【拾壹】--：

大概20-25左右 e4b 4bit，占用5G左右的内存

---

--【拾贰】--：

大概有多少的token速度？现在mac的机器都很高，也想弄一台玩玩

---

--【拾叁】--：

还行啊 我速度挺快的 反正是能用的 我没啥要求

---

--【拾肆】--：

我也部署过了，gemma4 26b， 无法使用hermes tool？

---

--【拾伍】--：

这么可怜吗？那估计啥都干不了呀 - - ！

---

--【拾陆】--：

image330×136 12.5 KB

---

--【拾柒】--：

jetson Xavier NX 盒子试过了，gemma4 e2b模型7.2G，我这8G的内存不行。暂时装了qwen3.5:0.8b和deepseek-r1:1.5b运行还可以,0.8b的内存不到百分之九十，1.5b的内存不要百分之五十。

这个mac mini应该可以运行gemma4 e4b吧。

---

--【拾捌】--：

可以写小故事 其他的就不知道了 应该还有很多玩法吧

---

--【拾玖】--：

gemma4 e2b有量化版本啊，e4b也可以的，4bit的才5G