请教,本地部署大模型,是否可以一定程度上替代现在的claude,gpt?
- 内容介绍
- 文章标签
- 相关推荐
我是搞C++的,最近使用量非常大。opus 如果全天都蹬,一两百,甚至更多。改用gpt5.4后,虽然,消耗降低了,但是开发时间大大延长了。
我有个想法,开发的方案,由opus4.7、gtp5.4来做,实施计划完成后的代码开发,审核,单元测试,系统联调使用本地部署的模型是不是可以?
考虑如果可行的话,自己上一套设备,来本地部署。
请有经验的大佬们来指点指点!
有没有已经运行了本地大模型的token,可以实际测试测试?有这样的平台吗?
--【壹】--:
应该不太行,复杂度一上去,御三家写的代码都容易出问题,更别说参数更小的本地模型了。
--【贰】--:
可以当然可以,但是开源的glm5.1部署怎么也得一百万左右起步吧
--【叁】--:
用习惯了gpt,opus,应该很难用小模型做开发吧,总感觉笨笨的
--【肆】--:
当前看到的只有本地部署的小模型,或大模型量化的版本,和集群部署的大模型在coding能力上差距相当大
--【伍】--:
部glm5.1的话大概能达到opus4.6的效果,当前得你买得起机器,完事后随便跑,奥对,还有电费
--【陆】--:
不行吧,本地部署的跟云端的还是比不了的啊
--【柒】--:
一定程度上当然可以,但是多大程度得看你的实力了
--【捌】--:
本地部署GLM5.1至少得是百万级别的,买官方api都够你用几十年了
--【玖】--:
本地要效果这么好的话,5090 20g显存都上万了,部署这么好的模型,a6000价格了解下
--【拾】--:
有100万以上可以试试看,到时候token分我点就行
--【拾壹】--:
如果你是给公司画饼让你搞这新项目,我觉得可以。
我是搞C++的,最近使用量非常大。opus 如果全天都蹬,一两百,甚至更多。改用gpt5.4后,虽然,消耗降低了,但是开发时间大大延长了。
我有个想法,开发的方案,由opus4.7、gtp5.4来做,实施计划完成后的代码开发,审核,单元测试,系统联调使用本地部署的模型是不是可以?
考虑如果可行的话,自己上一套设备,来本地部署。
请有经验的大佬们来指点指点!
有没有已经运行了本地大模型的token,可以实际测试测试?有这样的平台吗?
--【壹】--:
应该不太行,复杂度一上去,御三家写的代码都容易出问题,更别说参数更小的本地模型了。
--【贰】--:
可以当然可以,但是开源的glm5.1部署怎么也得一百万左右起步吧
--【叁】--:
用习惯了gpt,opus,应该很难用小模型做开发吧,总感觉笨笨的
--【肆】--:
当前看到的只有本地部署的小模型,或大模型量化的版本,和集群部署的大模型在coding能力上差距相当大
--【伍】--:
部glm5.1的话大概能达到opus4.6的效果,当前得你买得起机器,完事后随便跑,奥对,还有电费
--【陆】--:
不行吧,本地部署的跟云端的还是比不了的啊
--【柒】--:
一定程度上当然可以,但是多大程度得看你的实力了
--【捌】--:
本地部署GLM5.1至少得是百万级别的,买官方api都够你用几十年了
--【玖】--:
本地要效果这么好的话,5090 20g显存都上万了,部署这么好的模型,a6000价格了解下
--【拾】--:
有100万以上可以试试看,到时候token分我点就行
--【拾壹】--:
如果你是给公司画饼让你搞这新项目,我觉得可以。

