领导想计算一下购买显卡部署本地的ai,和购买ai订阅哪个划算
- 内容介绍
- 文章标签
- 相关推荐
领导想计算一下购买部署本地的ai,和购买ai订阅哪个划算
有没有佬对这方面了解的,可以聊一下吗
--【壹】--:
看公司规模。但是维护价格我觉得也是一大笔。
--【贰】--:
正好我也有这方面需求,领导前期给了30万预算,以后可能会再次增加预算,所以这次想着能搭一个好扩展的算力服务器,主要想搭建一个我们公司自己的知识库用于智能问答和能耗预测,不知道各位佬能不能给点意见;
--【叁】--:
内存没涨价之前 大约两百万不到 现在估计得两百多一台了
--【肆】--:
开发,测试都打算使用。好的佬你说的贬值确实应该考虑进来
--【伍】--:
三十万可以跑私有文档库的 RAG,然后生成回答租用 api
--【陆】--:
30w?这是真的不可能够的。至少300w才能溅起水花
--【柒】--:
目前没和我说预算,让我先做个excel给他展示一下,我们公司蛮大的,台北是总公司,苏州这边分公司也600多人
--【捌】--:
好的,谢谢佬,那我还是先去做个excel给领导自己去评估把。。
--【玖】--:
那肯定是购买划算了,自建预算不要太高了。
--【拾】--:
所有ai大模型公司都在亏钱,你想是买还是租合算?
--【拾壹】--:
推荐目前还是订阅吧,AI这东西发展太快,如果现在就定型了,长期来看,本地部署在一定时间后会有优势。
--【拾贰】--:
ai用在什么场景?如果是编程,开源的模型恐怕胜任不了
--【拾叁】--:
自动化测试,然后编程能力也是需要的。反正目前打算评估一下看看
--【拾肆】--:
要求这么高,百万感觉都实现不了,而且AI发展这么快。
--【拾伍】--:
非常感谢大佬提供的数据!!请问知道成本花了多少吗
--【拾陆】--:
自建的话成本非常高 我们公司的 h20 跑 glm 两个实例,只能跑 20 个并发左右,而且 token 数是非常慢的,一早上只有 808 请求,in/out 一千八百万/五十万 这样,这些数据是我刚刚看的
--【拾柒】--:
就开发团队用吗?
如果要本地部署,那就只能选开源模型了。
还有一点,硬件会贬值,也要算进去。
--【拾捌】--:
预算多少?多少人用?用什么模型?
如果是小公司,就几个开发,还不如直接买AI订阅
--【拾玖】--:
我们不需要编程等功能,平常大部分也就是服务器调用进行数值预测
领导想计算一下购买部署本地的ai,和购买ai订阅哪个划算
有没有佬对这方面了解的,可以聊一下吗
--【壹】--:
看公司规模。但是维护价格我觉得也是一大笔。
--【贰】--:
正好我也有这方面需求,领导前期给了30万预算,以后可能会再次增加预算,所以这次想着能搭一个好扩展的算力服务器,主要想搭建一个我们公司自己的知识库用于智能问答和能耗预测,不知道各位佬能不能给点意见;
--【叁】--:
内存没涨价之前 大约两百万不到 现在估计得两百多一台了
--【肆】--:
开发,测试都打算使用。好的佬你说的贬值确实应该考虑进来
--【伍】--:
三十万可以跑私有文档库的 RAG,然后生成回答租用 api
--【陆】--:
30w?这是真的不可能够的。至少300w才能溅起水花
--【柒】--:
目前没和我说预算,让我先做个excel给他展示一下,我们公司蛮大的,台北是总公司,苏州这边分公司也600多人
--【捌】--:
好的,谢谢佬,那我还是先去做个excel给领导自己去评估把。。
--【玖】--:
那肯定是购买划算了,自建预算不要太高了。
--【拾】--:
所有ai大模型公司都在亏钱,你想是买还是租合算?
--【拾壹】--:
推荐目前还是订阅吧,AI这东西发展太快,如果现在就定型了,长期来看,本地部署在一定时间后会有优势。
--【拾贰】--:
ai用在什么场景?如果是编程,开源的模型恐怕胜任不了
--【拾叁】--:
自动化测试,然后编程能力也是需要的。反正目前打算评估一下看看
--【拾肆】--:
要求这么高,百万感觉都实现不了,而且AI发展这么快。
--【拾伍】--:
非常感谢大佬提供的数据!!请问知道成本花了多少吗
--【拾陆】--:
自建的话成本非常高 我们公司的 h20 跑 glm 两个实例,只能跑 20 个并发左右,而且 token 数是非常慢的,一早上只有 808 请求,in/out 一千八百万/五十万 这样,这些数据是我刚刚看的
--【拾柒】--:
就开发团队用吗?
如果要本地部署,那就只能选开源模型了。
还有一点,硬件会贬值,也要算进去。
--【拾捌】--:
预算多少?多少人用?用什么模型?
如果是小公司,就几个开发,还不如直接买AI订阅
--【拾玖】--:
我们不需要编程等功能,平常大部分也就是服务器调用进行数值预测

