5060 笔记本成功部署 Gemma 4，30ts，效果很好
- 内容介绍
- 文章标签
- 相关推荐
模型
gemma4-26b-a4b-it-q4km
实测速度
30 token/s 上下
配置
笔记本 32G 内存+5060 8GB 显卡，64k 上下文成功跑通
整个 26b 放入内存，显卡动态加载 4b 的激活参数，所以只要空闲内存≥20GB，显存≥6GB 即可
大家可以去部署试试
效果展示
鸸鹋骑单车
17751857974592034×1440 129 KB
天气卡片
17751878046722394×1030 160 KB
17751877263151920×845 92.7 KB
更多测试
25k 输入极限测试：
image470×218 18.8 KB
日常使用的首字速度
image482×170 9.16 KB
网友解答：--【壹】--：
看着不错哦
--【贰】--：
这模型的显存占用要多少
--【叁】--：
测测经典的天气卡片测试看看效果
--【肆】--：
请问这种开源的模型，带审查吗？可以搞NSFW ？
--【伍】--：
lmarean
--【陆】--：
用什么部署的？llama cpp？
我也试试，qwen3.5 35b刚好跑不动
--【柒】--：
佬 这是什么网站啊
--【捌】--：
那么强啊
--【玖】--：
codex部署的（
是llama.cpp
直接丢给ai让它帮我搞
--【拾】--：
显存5.8G，但是内存已经占满了30.9个G
模型
gemma4-26b-a4b-it-q4km
实测速度
30 token/s 上下
配置
笔记本 32G 内存+5060 8GB 显卡，64k 上下文成功跑通
整个 26b 放入内存，显卡动态加载 4b 的激活参数，所以只要空闲内存≥20GB，显存≥6GB 即可
大家可以去部署试试
效果展示
鸸鹋骑单车
17751857974592034×1440 129 KB
天气卡片
17751878046722394×1030 160 KB
17751877263151920×845 92.7 KB
更多测试
25k 输入极限测试：
image470×218 18.8 KB
日常使用的首字速度
image482×170 9.16 KB
网友解答：--【壹】--：
看着不错哦
--【贰】--：
这模型的显存占用要多少
--【叁】--：
测测经典的天气卡片测试看看效果
--【肆】--：
请问这种开源的模型，带审查吗？可以搞NSFW ？
--【伍】--：
lmarean
--【陆】--：
用什么部署的？llama cpp？
我也试试，qwen3.5 35b刚好跑不动
--【柒】--：
佬 这是什么网站啊
--【捌】--：
那么强啊
--【玖】--：
codex部署的（
是llama.cpp
直接丢给ai让它帮我搞
--【拾】--：
显存5.8G，但是内存已经占满了30.9个G