请教,本地部署大模型,是否可以一定程度上替代现在的claude,gpt?

2026-04-29 10:112阅读0评论SEO教程
  • 内容介绍
  • 文章标签
  • 相关推荐
问题描述:

我是搞C++的,最近使用量非常大。opus 如果全天都蹬,一两百,甚至更多。改用gpt5.4后,虽然,消耗降低了,但是开发时间大大延长了。
我有个想法,开发的方案,由opus4.7、gtp5.4来做,实施计划完成后的代码开发,审核,单元测试,系统联调使用本地部署的模型是不是可以?
考虑如果可行的话,自己上一套设备,来本地部署。
请有经验的大佬们来指点指点!
有没有已经运行了本地大模型的token,可以实际测试测试?有这样的平台吗?

网友解答:
--【壹】--:

应该不太行,复杂度一上去,御三家写的代码都容易出问题,更别说参数更小的本地模型了。


--【贰】--:

可以当然可以,但是开源的glm5.1部署怎么也得一百万左右起步吧


--【叁】--:

用习惯了gpt,opus,应该很难用小模型做开发吧,总感觉笨笨的


--【肆】--:

当前看到的只有本地部署的小模型,或大模型量化的版本,和集群部署的大模型在coding能力上差距相当大


--【伍】--:

部glm5.1的话大概能达到opus4.6的效果,当前得你买得起机器,完事后随便跑,奥对,还有电费


--【陆】--:

不行吧,本地部署的跟云端的还是比不了的啊


--【柒】--:

一定程度上当然可以,但是多大程度得看你的实力了


--【捌】--:

本地部署GLM5.1至少得是百万级别的,买官方api都够你用几十年了


--【玖】--:

本地要效果这么好的话,5090 20g显存都上万了,部署这么好的模型,a6000价格了解下


--【拾】--:

有100万以上可以试试看,到时候token分我点就行


--【拾壹】--:

如果你是给公司画饼让你搞这新项目,我觉得可以。
真的自己部署就为了蹬,那你算算账嘛……每天一两百而已,不值当。。。


--【拾贰】--:

不太复杂的可以,或者说上下文不长的可以。例如部署一个35b左右的模型。但是这个部署费用同时也可以买好几年的云端API了,而且本地运行速度比不过云端。云端唯一缺点就是429(当然钞能力可以解决)


--【拾叁】--:

你本地部署 你有多少钱 看看你的钱包 能跑满血的ds吗? 你看一眼能跑满血的DS 一台机器多少钱了


--【拾肆】--:

服务器都是百万级别的,另外开源的模型和商用模型还是有差距的。自己部署要考虑场地、费用,维护费等。还是老老实实教钱吧

标签:软件开发
问题描述:

我是搞C++的,最近使用量非常大。opus 如果全天都蹬,一两百,甚至更多。改用gpt5.4后,虽然,消耗降低了,但是开发时间大大延长了。
我有个想法,开发的方案,由opus4.7、gtp5.4来做,实施计划完成后的代码开发,审核,单元测试,系统联调使用本地部署的模型是不是可以?
考虑如果可行的话,自己上一套设备,来本地部署。
请有经验的大佬们来指点指点!
有没有已经运行了本地大模型的token,可以实际测试测试?有这样的平台吗?

网友解答:
--【壹】--:

应该不太行,复杂度一上去,御三家写的代码都容易出问题,更别说参数更小的本地模型了。


--【贰】--:

可以当然可以,但是开源的glm5.1部署怎么也得一百万左右起步吧


--【叁】--:

用习惯了gpt,opus,应该很难用小模型做开发吧,总感觉笨笨的


--【肆】--:

当前看到的只有本地部署的小模型,或大模型量化的版本,和集群部署的大模型在coding能力上差距相当大


--【伍】--:

部glm5.1的话大概能达到opus4.6的效果,当前得你买得起机器,完事后随便跑,奥对,还有电费


--【陆】--:

不行吧,本地部署的跟云端的还是比不了的啊


--【柒】--:

一定程度上当然可以,但是多大程度得看你的实力了


--【捌】--:

本地部署GLM5.1至少得是百万级别的,买官方api都够你用几十年了


--【玖】--:

本地要效果这么好的话,5090 20g显存都上万了,部署这么好的模型,a6000价格了解下


--【拾】--:

有100万以上可以试试看,到时候token分我点就行


--【拾壹】--:

如果你是给公司画饼让你搞这新项目,我觉得可以。
真的自己部署就为了蹬,那你算算账嘛……每天一两百而已,不值当。。。


--【拾贰】--:

不太复杂的可以,或者说上下文不长的可以。例如部署一个35b左右的模型。但是这个部署费用同时也可以买好几年的云端API了,而且本地运行速度比不过云端。云端唯一缺点就是429(当然钞能力可以解决)


--【拾叁】--:

你本地部署 你有多少钱 看看你的钱包 能跑满血的ds吗? 你看一眼能跑满血的DS 一台机器多少钱了


--【拾肆】--:

服务器都是百万级别的,另外开源的模型和商用模型还是有差距的。自己部署要考虑场地、费用,维护费等。还是老老实实教钱吧

标签:软件开发