准备搓自己的算力平台 有佬推荐配置么

2026-04-11 15:290阅读0评论SEO问题
  • 内容介绍
  • 文章标签
  • 相关推荐
问题描述:

RT 模型暂定是qwen 3.5的122b 现在查了下资料暂定配置如下,不知道还有没有提升空间或者可更换的配置
8X H100 SXM
2X AMD EPYC 9754
1.5TB ECC DDR5
NVMe 8TB
双口100GbE
还望各位专业领域的佬指点一下

网友解答:
--【壹】--:

好的感谢佬我去看看


--【贰】--:

那你这太奢侈了吧,都没必要上h100,dgx spark串联一下部署个122b都可以,买四台也就差不多15w不到,128×4的大小


--【叁】--:

H100 没有很差
不过 H20 141G 显存会比较宽裕
只是性能会下降一些,想满血就选 H200

无论如何 qwen 3.5 122b 在这些选项中都可以部署 + 256K
差在吞吐量而已


--【肆】--:

H100讲道理有点落后,能搞B200就搞B200吧


--【伍】--:

你可以去租卡平台先去租几个小时,看看啥配置能跑起来你要的结果


--【陆】--:

要嘛直接 8x
少一个 tp 或 pp 都配不起来


--【柒】--:

剩下的就是你要的上下文窗口和缓存大小了。给你个参考,我们公司现在跑Qwen3.5-35B-A3B-FP8,只用了88g显存,两张L20,264144上下文窗口。

阅读全文
标签:人工智能
问题描述:

RT 模型暂定是qwen 3.5的122b 现在查了下资料暂定配置如下,不知道还有没有提升空间或者可更换的配置
8X H100 SXM
2X AMD EPYC 9754
1.5TB ECC DDR5
NVMe 8TB
双口100GbE
还望各位专业领域的佬指点一下

网友解答:
--【壹】--:

好的感谢佬我去看看


--【贰】--:

那你这太奢侈了吧,都没必要上h100,dgx spark串联一下部署个122b都可以,买四台也就差不多15w不到,128×4的大小


--【叁】--:

H100 没有很差
不过 H20 141G 显存会比较宽裕
只是性能会下降一些,想满血就选 H200

无论如何 qwen 3.5 122b 在这些选项中都可以部署 + 256K
差在吞吐量而已


--【肆】--:

H100讲道理有点落后,能搞B200就搞B200吧


--【伍】--:

你可以去租卡平台先去租几个小时,看看啥配置能跑起来你要的结果


--【陆】--:

要嘛直接 8x
少一个 tp 或 pp 都配不起来


--【柒】--:

剩下的就是你要的上下文窗口和缓存大小了。给你个参考,我们公司现在跑Qwen3.5-35B-A3B-FP8,只用了88g显存,两张L20,264144上下文窗口。

阅读全文
标签:人工智能