是不是以后想私有化部署满血开源模型越来越难了?
- 内容介绍
- 文章标签
- 相关推荐
问题描述:
--【壹】--:
--【贰】--:
--【叁】--:
--【肆】--:
现在新出的模型 deepseekv4 pro 862B参数,GLM5.1 754B参数,kimi 2.6 1.1T的参数。像千问这种397B的是不是以后就不会有了。
想在公司八卡L20上部署一下新模型,算了一下量化后都不够部署上去。部署成本太高了,qwen3.6的满参数迟迟不发布感觉L20真是废了。
--【壹】--:
没办法,因为模型参数≈模型脑容量,既要模型强知识面广又要模型吃得少不太可能实现,但是出现专注于某个领域的特化模型应该还是可以做到较小的体量的
--【贰】--:
估计如此,硬件配置厂商想给你贡献好的设备
软件开发商想给你贡献UI
模型提供商想你使用最新款模型
--【叁】--:
单卡价格未必会提高。而且就算提高也不会是你以前买得起以后就买不起的那种
--【肆】--:
其实现在要是手里有米,真可以蒸馏这些模型,以后这东西真不好说什么价格。
问题描述:
--【壹】--:
--【贰】--:
--【叁】--:
--【肆】--:
现在新出的模型 deepseekv4 pro 862B参数,GLM5.1 754B参数,kimi 2.6 1.1T的参数。像千问这种397B的是不是以后就不会有了。
想在公司八卡L20上部署一下新模型,算了一下量化后都不够部署上去。部署成本太高了,qwen3.6的满参数迟迟不发布感觉L20真是废了。
--【壹】--:
没办法,因为模型参数≈模型脑容量,既要模型强知识面广又要模型吃得少不太可能实现,但是出现专注于某个领域的特化模型应该还是可以做到较小的体量的
--【贰】--:
估计如此,硬件配置厂商想给你贡献好的设备
软件开发商想给你贡献UI
模型提供商想你使用最新款模型
--【叁】--:
单卡价格未必会提高。而且就算提高也不会是你以前买得起以后就买不起的那种
--【肆】--:
其实现在要是手里有米,真可以蒸馏这些模型,以后这东西真不好说什么价格。

