是不是以后想私有化部署满血开源模型越来越难了？
- 内容介绍
- 文章标签
- 相关推荐
现在新出的模型 deepseekv4 pro 862B参数，GLM5.1 754B参数，kimi 2.6 1.1T的参数。像千问这种397B的是不是以后就不会有了。
想在公司八卡L20上部署一下新模型，算了一下量化后都不够部署上去。部署成本太高了，qwen3.6的满参数迟迟不发布感觉L20真是废了。
--【壹】--：
没办法,因为模型参数≈模型脑容量,既要模型强知识面广又要模型吃得少不太可能实现,但是出现专注于某个领域的特化模型应该还是可以做到较小的体量的
--【贰】--：
估计如此，硬件配置厂商想给你贡献好的设备
软件开发商想给你贡献UI
模型提供商想你使用最新款模型
--【叁】--：
单卡价格未必会提高。而且就算提高也不会是你以前买得起以后就买不起的那种
--【肆】--：
其实现在要是手里有米，真可以蒸馏这些模型，以后这东西真不好说什么价格。
--【伍】--：
Deepseek能扩大规模是mhc的功劳，但是不一样还有200多B的版本吗
V4-Flash在 100万 Token 场景下，单 Token 推理计算量只有 V3.2 的 10%，KV Cache 更是只有 V3.2 的 7%
私有化部署越来越轻松了
--【陆】--：
小型化肯定是以后的趋势 更会去发展量子计算 深空计算等
--【柒】--：
之前有个ktransformers v3那会儿fp8完整模型在4卡4090上是能跑起来的大概一秒十几个token（亲测有效），我估计他们也会上v4的方案，大佬可以关注一下
GitHub - kvcache-ai/ktransformers: A Flexible Framework for Experiencing...
A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations
--【捌】--：
英伟达和华为的计算卡水平也在提升，长期来看会越来越容易部署，目前 B200 八卡一台就能跑所有主流开放权重模型，未来可能四卡甚至两卡就能跑。
再说了，不是还有统一内存的 m 芯片吗，如果 m5 ultra 给了 >= 512GB 的内存，四台的话目前应该没有跑不了的模型吧。
--【玖】--：
等参数和数据的 scaling law 卡瓶颈了，再出点牛人搞新架构
--【拾】--：
感觉可能双向奔赴吧。未来单卡价格慢慢降下来，同时之后小模型的能力会逐渐追到接近现在全量模型的水平不追求开源 SOTA，自部署一个强力模型玩一玩应该还是有可能的
--【拾壹】--：
并非862B，实际上是 1.6T
至于本地部署，很早就有结论了，个人用户性价比不太可能超过云端推理，同级别模型
--【拾贰】--：
你非得部署满血版的话那没辙，但小模型现在也很能打啊，几十b的能赶上以前的大模型了
--【拾叁】--：
佬，可以问问码好奇v4flash多少参数
--【拾肆】--：
一张卡顶我一个平台了，公司客户都要求内网部署，太难了。
--【拾伍】--：
但是单张卡的价格会变高啊，不可能加量不加价，目前看来加的性能和价格直接挂钩
--【拾陆】--：
往另一个方向想，随着优化技术的提升，同样参数的模型需要的卡也会越来越少，换言之，能私人部署的模型性能会越来越高i
现在新出的模型 deepseekv4 pro 862B参数，GLM5.1 754B参数，kimi 2.6 1.1T的参数。像千问这种397B的是不是以后就不会有了。
想在公司八卡L20上部署一下新模型，算了一下量化后都不够部署上去。部署成本太高了，qwen3.6的满参数迟迟不发布感觉L20真是废了。
--【壹】--：
没办法,因为模型参数≈模型脑容量,既要模型强知识面广又要模型吃得少不太可能实现,但是出现专注于某个领域的特化模型应该还是可以做到较小的体量的
--【贰】--：
估计如此，硬件配置厂商想给你贡献好的设备
软件开发商想给你贡献UI
模型提供商想你使用最新款模型
--【叁】--：
单卡价格未必会提高。而且就算提高也不会是你以前买得起以后就买不起的那种
--【肆】--：
其实现在要是手里有米，真可以蒸馏这些模型，以后这东西真不好说什么价格。
--【伍】--：
Deepseek能扩大规模是mhc的功劳，但是不一样还有200多B的版本吗
V4-Flash在 100万 Token 场景下，单 Token 推理计算量只有 V3.2 的 10%，KV Cache 更是只有 V3.2 的 7%
私有化部署越来越轻松了
--【陆】--：
小型化肯定是以后的趋势 更会去发展量子计算 深空计算等
--【柒】--：
之前有个ktransformers v3那会儿fp8完整模型在4卡4090上是能跑起来的大概一秒十几个token（亲测有效），我估计他们也会上v4的方案，大佬可以关注一下
GitHub - kvcache-ai/ktransformers: A Flexible Framework for Experiencing...
A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations
--【捌】--：
英伟达和华为的计算卡水平也在提升，长期来看会越来越容易部署，目前 B200 八卡一台就能跑所有主流开放权重模型，未来可能四卡甚至两卡就能跑。
再说了，不是还有统一内存的 m 芯片吗，如果 m5 ultra 给了 >= 512GB 的内存，四台的话目前应该没有跑不了的模型吧。
--【玖】--：
等参数和数据的 scaling law 卡瓶颈了，再出点牛人搞新架构
--【拾】--：
感觉可能双向奔赴吧。未来单卡价格慢慢降下来，同时之后小模型的能力会逐渐追到接近现在全量模型的水平不追求开源 SOTA，自部署一个强力模型玩一玩应该还是有可能的
--【拾壹】--：
并非862B，实际上是 1.6T
至于本地部署，很早就有结论了，个人用户性价比不太可能超过云端推理，同级别模型
--【拾贰】--：
你非得部署满血版的话那没辙，但小模型现在也很能打啊，几十b的能赶上以前的大模型了
--【拾叁】--：
佬，可以问问码好奇v4flash多少参数
--【拾肆】--：
一张卡顶我一个平台了，公司客户都要求内网部署，太难了。
--【拾伍】--：
但是单张卡的价格会变高啊，不可能加量不加价，目前看来加的性能和价格直接挂钩
--【拾陆】--：
往另一个方向想，随着优化技术的提升，同样参数的模型需要的卡也会越来越少，换言之，能私人部署的模型性能会越来越高i