个人本地部署大模型不靠谱,gpu干到100多度,浇点冷水
- 内容介绍
- 文章标签
- 相关推荐
本地机器:
mac book pro m3 max,64GB统一内存。
模型:
qwen3.5 9B
跑起来,内存倒没占多少,也就十几GB。喂给codex还好,50-60 token/s。喂给cluade code gpu直接干到100多度,而且无响应。
所以,还是在L站登吧,佬友们,自己跑本地模型,就是扯淡,玩一玩还行。有钱不如买更好的coding plan。
就算跑起来,对自己的机器损伤也不小。
再次感谢各位佬友的公益站!
网友解答:--【壹】--:
GPU 100多度是正常温度啊
--【贰】--:
如果本地跑大模型单纯为了聊天,那真不如直接问豆包和chatgpt
--【叁】--:
只能自己玩玩,长时间跑对自己电脑伤害太大
--【肆】--:
长时间跑起来,对机器损害不小吧
--【伍】--:
哈哈,有实力佬,太强了
--【陆】--:
请问下,佬,你一般拿9b模型佬跑什么任务,能写代码不?复杂一点的工程?还是说日常巡检,定时任务这些?
--【柒】--:
我买了h20的机器 部署了qwen3.5 27b
--【捌】--:
除非你是公家和某些私用,安心的用主流大模型吧,私人部署没啥意义的。
--【玖】--:
普通人玩不起大的,玩小玩具也没有意义。
--【拾】--:
9b写代码肯定不行啊,200b写代码都很难。你日常任务可以完成的。
--【拾壹】--:
9b模型要求很低的,3060 12g显存随便跑。这显卡二手价格才一千吧,跑个一年挂了,也不心疼。
--【拾贰】--:
确实,不建议本地跑
--【拾叁】--:
本地部署本来就是成本极高的一件事情啊~
--【拾肆】--:
最近不是omlx很火吗?我看很多买mbp来跑的。实际用处不大,真正能用起来的还得coding plan和佬友们的登登神器
--【拾伍】--:
还行吧,9b不弱的,qwen3.5比以前模型强太多了。你没用过早期模型,那才叫鸡肋。
--【拾陆】--:
mac真不行,跑不了,跑的太难受了,同样的价格,用N卡都能跑27B了
--【拾柒】--:
說過好多次了,除了studio 以外不要對 book, mini有幻想
不是token慢,就是傷機器。。
--【拾捌】--:
围观富哥
--【拾玖】--:
关键是跑这9b意义不大,没啥用
本地机器:
mac book pro m3 max,64GB统一内存。
模型:
qwen3.5 9B
跑起来,内存倒没占多少,也就十几GB。喂给codex还好,50-60 token/s。喂给cluade code gpu直接干到100多度,而且无响应。
所以,还是在L站登吧,佬友们,自己跑本地模型,就是扯淡,玩一玩还行。有钱不如买更好的coding plan。
就算跑起来,对自己的机器损伤也不小。
再次感谢各位佬友的公益站!
网友解答:--【壹】--:
GPU 100多度是正常温度啊
--【贰】--:
如果本地跑大模型单纯为了聊天,那真不如直接问豆包和chatgpt
--【叁】--:
只能自己玩玩,长时间跑对自己电脑伤害太大
--【肆】--:
长时间跑起来,对机器损害不小吧
--【伍】--:
哈哈,有实力佬,太强了
--【陆】--:
请问下,佬,你一般拿9b模型佬跑什么任务,能写代码不?复杂一点的工程?还是说日常巡检,定时任务这些?
--【柒】--:
我买了h20的机器 部署了qwen3.5 27b
--【捌】--:
除非你是公家和某些私用,安心的用主流大模型吧,私人部署没啥意义的。
--【玖】--:
普通人玩不起大的,玩小玩具也没有意义。
--【拾】--:
9b写代码肯定不行啊,200b写代码都很难。你日常任务可以完成的。
--【拾壹】--:
9b模型要求很低的,3060 12g显存随便跑。这显卡二手价格才一千吧,跑个一年挂了,也不心疼。
--【拾贰】--:
确实,不建议本地跑
--【拾叁】--:
本地部署本来就是成本极高的一件事情啊~
--【拾肆】--:
最近不是omlx很火吗?我看很多买mbp来跑的。实际用处不大,真正能用起来的还得coding plan和佬友们的登登神器
--【拾伍】--:
还行吧,9b不弱的,qwen3.5比以前模型强太多了。你没用过早期模型,那才叫鸡肋。
--【拾陆】--:
mac真不行,跑不了,跑的太难受了,同样的价格,用N卡都能跑27B了
--【拾柒】--:
說過好多次了,除了studio 以外不要對 book, mini有幻想
不是token慢,就是傷機器。。
--【拾捌】--:
围观富哥
--【拾玖】--:
关键是跑这9b意义不大,没啥用

