内网开发的佬有什么好用的模型推荐呀

2026-04-13 12:270阅读0评论SEO基础
  • 内容介绍
  • 文章标签
  • 相关推荐
问题描述:

现在公司有个40G的显卡,部署了一个qwen3.5 A3B 写代码随便问两句 就死循环了,我用的continue插件也老是断,不能实现自动改代码的效果,gemma4 31B有没有佬用过的,写代码能力咋样,然后想问一下continue跟cline 之外还有啥好用的开发插件没,感觉自动改代码的能力太差了,还是说是模型问题。

网友解答:
--【壹】--:

内网本地化部署真不是一般能玩的起的吧。
要想模型能力强流畅使用,成本不得几十上百万啊。


--【贰】--:

40G显存的话,直接上qwen3-32B,可以调整内存加到虚拟显存上,以及用降低精度的量化版本,然后使用vLLM进行加速。


--【叁】--:

模型能力太差,这个没办法,本地部署只能玩玩,真正生产力还是得云端模型


--【肆】--:

让公司大幅增加预算 说实话有些佬的家用都比公司这40G要大


--【伍】--:

跑不起来呀,太大了这个。哎呀怎么还得回复20个字


--【陆】--:

看看huggingface上有没有蒸馏的小尺寸


--【柒】--:

试试最近开源的glm 5.1?这个比千问好很多


--【捌】--:

公司要求都是只能内网开发 难受了 拷都拷不了

问题描述:

现在公司有个40G的显卡,部署了一个qwen3.5 A3B 写代码随便问两句 就死循环了,我用的continue插件也老是断,不能实现自动改代码的效果,gemma4 31B有没有佬用过的,写代码能力咋样,然后想问一下continue跟cline 之外还有啥好用的开发插件没,感觉自动改代码的能力太差了,还是说是模型问题。

网友解答:
--【壹】--:

内网本地化部署真不是一般能玩的起的吧。
要想模型能力强流畅使用,成本不得几十上百万啊。


--【贰】--:

40G显存的话,直接上qwen3-32B,可以调整内存加到虚拟显存上,以及用降低精度的量化版本,然后使用vLLM进行加速。


--【叁】--:

模型能力太差,这个没办法,本地部署只能玩玩,真正生产力还是得云端模型


--【肆】--:

让公司大幅增加预算 说实话有些佬的家用都比公司这40G要大


--【伍】--:

跑不起来呀,太大了这个。哎呀怎么还得回复20个字


--【陆】--:

看看huggingface上有没有蒸馏的小尺寸


--【柒】--:

试试最近开源的glm 5.1?这个比千问好很多


--【捌】--:

公司要求都是只能内网开发 难受了 拷都拷不了