个人本地部署大模型不靠谱,gpu干到100多度,浇点冷水
- 内容介绍
- 文章标签
- 相关推荐
本地机器:
mac book pro m3 max,64GB统一内存。
模型:
qwen3.5 9B
跑起来,内存倒没占多少,也就十几GB。喂给codex还好,50-60 token/s。喂给cluade code gpu直接干到100多度,而且无响应。
所以,还是在L站登吧,佬友们,自己跑本地模型,就是扯淡,玩一玩还行。有钱不如买更好的coding plan。
就算跑起来,对自己的机器损伤也不小。
再次感谢各位佬友的公益站!
网友解答:--【壹】--:
GPU 100多度是正常温度啊
--【贰】--:
如果本地跑大模型单纯为了聊天,那真不如直接问豆包和chatgpt
--【叁】--:
只能自己玩玩,长时间跑对自己电脑伤害太大
--【肆】--:
长时间跑起来,对机器损害不小吧
--【伍】--:
哈哈,有实力佬,太强了
--【陆】--:
请问下,佬,你一般拿9b模型佬跑什么任务,能写代码不?复杂一点的工程?还是说日常巡检,定时任务这些?
--【柒】--:
我买了h20的机器 部署了qwen3.5 27b
--【捌】--:
除非你是公家和某些私用,安心的用主流大模型吧,私人部署没啥意义的。
--【玖】--:
普通人玩不起大的,玩小玩具也没有意义。
--【拾】--:
9b写代码肯定不行啊,200b写代码都很难。你日常任务可以完成的。
--【拾壹】--:
9b模型要求很低的,3060 12g显存随便跑。这显卡二手价格才一千吧,跑个一年挂了,也不心疼。
本地机器:
mac book pro m3 max,64GB统一内存。
模型:
qwen3.5 9B
跑起来,内存倒没占多少,也就十几GB。喂给codex还好,50-60 token/s。喂给cluade code gpu直接干到100多度,而且无响应。
所以,还是在L站登吧,佬友们,自己跑本地模型,就是扯淡,玩一玩还行。有钱不如买更好的coding plan。
就算跑起来,对自己的机器损伤也不小。
再次感谢各位佬友的公益站!
网友解答:--【壹】--:
GPU 100多度是正常温度啊
--【贰】--:
如果本地跑大模型单纯为了聊天,那真不如直接问豆包和chatgpt
--【叁】--:
只能自己玩玩,长时间跑对自己电脑伤害太大
--【肆】--:
长时间跑起来,对机器损害不小吧
--【伍】--:
哈哈,有实力佬,太强了
--【陆】--:
请问下,佬,你一般拿9b模型佬跑什么任务,能写代码不?复杂一点的工程?还是说日常巡检,定时任务这些?
--【柒】--:
我买了h20的机器 部署了qwen3.5 27b
--【捌】--:
除非你是公家和某些私用,安心的用主流大模型吧,私人部署没啥意义的。
--【玖】--:
普通人玩不起大的,玩小玩具也没有意义。
--【拾】--:
9b写代码肯定不行啊,200b写代码都很难。你日常任务可以完成的。
--【拾壹】--:
9b模型要求很低的,3060 12g显存随便跑。这显卡二手价格才一千吧,跑个一年挂了,也不心疼。

