内网开发的佬有什么好用的模型推荐呀
- 内容介绍
- 文章标签
- 相关推荐
现在公司有个40G的显卡,部署了一个qwen3.5 A3B 写代码随便问两句 就死循环了,我用的continue插件也老是断,不能实现自动改代码的效果,gemma4 31B有没有佬用过的,写代码能力咋样,然后想问一下continue跟cline 之外还有啥好用的开发插件没,感觉自动改代码的能力太差了,还是说是模型问题。
网友解答:--【壹】--:
内网本地化部署真不是一般能玩的起的吧。
要想模型能力强流畅使用,成本不得几十上百万啊。
--【贰】--:
40G显存的话,直接上qwen3-32B,可以调整内存加到虚拟显存上,以及用降低精度的量化版本,然后使用vLLM进行加速。
--【叁】--:
模型能力太差,这个没办法,本地部署只能玩玩,真正生产力还是得云端模型
--【肆】--:
让公司大幅增加预算 说实话有些佬的家用都比公司这40G要大
--【伍】--:
跑不起来呀,太大了这个。哎呀怎么还得回复20个字
--【陆】--:
看看huggingface上有没有蒸馏的小尺寸
--【柒】--:
试试最近开源的glm 5.1?这个比千问好很多
--【捌】--:
公司要求都是只能内网开发 难受了 拷都拷不了
现在公司有个40G的显卡,部署了一个qwen3.5 A3B 写代码随便问两句 就死循环了,我用的continue插件也老是断,不能实现自动改代码的效果,gemma4 31B有没有佬用过的,写代码能力咋样,然后想问一下continue跟cline 之外还有啥好用的开发插件没,感觉自动改代码的能力太差了,还是说是模型问题。
网友解答:--【壹】--:
内网本地化部署真不是一般能玩的起的吧。
要想模型能力强流畅使用,成本不得几十上百万啊。
--【贰】--:
40G显存的话,直接上qwen3-32B,可以调整内存加到虚拟显存上,以及用降低精度的量化版本,然后使用vLLM进行加速。
--【叁】--:
模型能力太差,这个没办法,本地部署只能玩玩,真正生产力还是得云端模型
--【肆】--:
让公司大幅增加预算 说实话有些佬的家用都比公司这40G要大
--【伍】--:
跑不起来呀,太大了这个。哎呀怎么还得回复20个字
--【陆】--:
看看huggingface上有没有蒸馏的小尺寸
--【柒】--:
试试最近开源的glm 5.1?这个比千问好很多
--【捌】--:
公司要求都是只能内网开发 难受了 拷都拷不了

