个人本地部署大模型不靠谱,gpu干到100多度,浇点冷水

2026-04-11 13:502阅读0评论SEO资源
  • 内容介绍
  • 文章标签
  • 相关推荐
问题描述:

本地机器:
mac book pro m3 max,64GB统一内存。
模型:
qwen3.5 9B

跑起来,内存倒没占多少,也就十几GB。喂给codex还好,50-60 token/s。喂给cluade code gpu直接干到100多度,而且无响应。

所以,还是在L站登吧,佬友们,自己跑本地模型,就是扯淡,玩一玩还行。有钱不如买更好的coding plan。

就算跑起来,对自己的机器损伤也不小。

再次感谢各位佬友的公益站!

网友解答:
--【壹】--:

GPU 100多度是正常温度啊


--【贰】--:

如果本地跑大模型单纯为了聊天,那真不如直接问豆包和chatgpt


--【叁】--:

只能自己玩玩,长时间跑对自己电脑伤害太大


--【肆】--:

长时间跑起来,对机器损害不小吧


--【伍】--:

哈哈,有实力佬,太强了


--【陆】--:

请问下,佬,你一般拿9b模型佬跑什么任务,能写代码不?复杂一点的工程?还是说日常巡检,定时任务这些?


--【柒】--:

我买了h20的机器 部署了qwen3.5 27b


--【捌】--:

除非你是公家和某些私用,安心的用主流大模型吧,私人部署没啥意义的。


--【玖】--:

普通人玩不起大的,玩小玩具也没有意义。


--【拾】--:

9b写代码肯定不行啊,200b写代码都很难。你日常任务可以完成的。


--【拾壹】--:

9b模型要求很低的,3060 12g显存随便跑。这显卡二手价格才一千吧,跑个一年挂了,也不心疼。


--【拾贰】--:

确实,不建议本地跑


--【拾叁】--:

本地部署本来就是成本极高的一件事情啊~


--【拾肆】--:

最近不是omlx很火吗?我看很多买mbp来跑的。实际用处不大,真正能用起来的还得coding plan和佬友们的登登神器


--【拾伍】--:

还行吧,9b不弱的,qwen3.5比以前模型强太多了。你没用过早期模型,那才叫鸡肋。


--【拾陆】--:

mac真不行,跑不了,跑的太难受了,同样的价格,用N卡都能跑27B了


--【拾柒】--:

說過好多次了,除了studio 以外不要對 book, mini有幻想

不是token慢,就是傷機器。。


--【拾捌】--:

围观富哥


--【拾玖】--:

关键是跑这9b意义不大,没啥用

标签:人工智能
问题描述:

本地机器:
mac book pro m3 max,64GB统一内存。
模型:
qwen3.5 9B

跑起来,内存倒没占多少,也就十几GB。喂给codex还好,50-60 token/s。喂给cluade code gpu直接干到100多度,而且无响应。

所以,还是在L站登吧,佬友们,自己跑本地模型,就是扯淡,玩一玩还行。有钱不如买更好的coding plan。

就算跑起来,对自己的机器损伤也不小。

再次感谢各位佬友的公益站!

网友解答:
--【壹】--:

GPU 100多度是正常温度啊


--【贰】--:

如果本地跑大模型单纯为了聊天,那真不如直接问豆包和chatgpt


--【叁】--:

只能自己玩玩,长时间跑对自己电脑伤害太大


--【肆】--:

长时间跑起来,对机器损害不小吧


--【伍】--:

哈哈,有实力佬,太强了


--【陆】--:

请问下,佬,你一般拿9b模型佬跑什么任务,能写代码不?复杂一点的工程?还是说日常巡检,定时任务这些?


--【柒】--:

我买了h20的机器 部署了qwen3.5 27b


--【捌】--:

除非你是公家和某些私用,安心的用主流大模型吧,私人部署没啥意义的。


--【玖】--:

普通人玩不起大的,玩小玩具也没有意义。


--【拾】--:

9b写代码肯定不行啊,200b写代码都很难。你日常任务可以完成的。


--【拾壹】--:

9b模型要求很低的,3060 12g显存随便跑。这显卡二手价格才一千吧,跑个一年挂了,也不心疼。


--【拾贰】--:

确实,不建议本地跑


--【拾叁】--:

本地部署本来就是成本极高的一件事情啊~


--【拾肆】--:

最近不是omlx很火吗?我看很多买mbp来跑的。实际用处不大,真正能用起来的还得coding plan和佬友们的登登神器


--【拾伍】--:

还行吧,9b不弱的,qwen3.5比以前模型强太多了。你没用过早期模型,那才叫鸡肋。


--【拾陆】--:

mac真不行,跑不了,跑的太难受了,同样的价格,用N卡都能跑27B了


--【拾柒】--:

說過好多次了,除了studio 以外不要對 book, mini有幻想

不是token慢,就是傷機器。。


--【拾捌】--:

围观富哥


--【拾玖】--:

关键是跑这9b意义不大,没啥用

标签:人工智能