准备搓自己的算力平台 有佬推荐配置么
- 内容介绍
- 文章标签
- 相关推荐
RT 模型暂定是qwen 3.5的122b 现在查了下资料暂定配置如下,不知道还有没有提升空间或者可更换的配置
8X H100 SXM
2X AMD EPYC 9754
1.5TB ECC DDR5
NVMe 8TB
双口100GbE
还望各位专业领域的佬指点一下
--【壹】--:
好的感谢佬我去看看
--【贰】--:
那你这太奢侈了吧,都没必要上h100,dgx spark串联一下部署个122b都可以,买四台也就差不多15w不到,128×4的大小
--【叁】--:
H100 没有很差
不过 H20 141G 显存会比较宽裕
只是性能会下降一些,想满血就选 H200
无论如何 qwen 3.5 122b 在这些选项中都可以部署 + 256K
差在吞吐量而已
--【肆】--:
H100讲道理有点落后,能搞B200就搞B200吧
--【伍】--:
你可以去租卡平台先去租几个小时,看看啥配置能跑起来你要的结果
--【陆】--:
要嘛直接 8x
少一个 tp 或 pp 都配不起来
--【柒】--:
剩下的就是你要的上下文窗口和缓存大小了。给你个参考,我们公司现在跑Qwen3.5-35B-A3B-FP8,只用了88g显存,两张L20,264144上下文窗口。
RT 模型暂定是qwen 3.5的122b 现在查了下资料暂定配置如下,不知道还有没有提升空间或者可更换的配置
8X H100 SXM
2X AMD EPYC 9754
1.5TB ECC DDR5
NVMe 8TB
双口100GbE
还望各位专业领域的佬指点一下
--【壹】--:
好的感谢佬我去看看
--【贰】--:
那你这太奢侈了吧,都没必要上h100,dgx spark串联一下部署个122b都可以,买四台也就差不多15w不到,128×4的大小
--【叁】--:
H100 没有很差
不过 H20 141G 显存会比较宽裕
只是性能会下降一些,想满血就选 H200
无论如何 qwen 3.5 122b 在这些选项中都可以部署 + 256K
差在吞吐量而已
--【肆】--:
H100讲道理有点落后,能搞B200就搞B200吧
--【伍】--:
你可以去租卡平台先去租几个小时,看看啥配置能跑起来你要的结果
--【陆】--:
要嘛直接 8x
少一个 tp 或 pp 都配不起来
--【柒】--:
剩下的就是你要的上下文窗口和缓存大小了。给你个参考,我们公司现在跑Qwen3.5-35B-A3B-FP8,只用了88g显存,两张L20,264144上下文窗口。

