神秘的单机 16 卡 L4

问题描述：

Ada 架构，不支持 FP4，单卡24G

机器应该是用 博通 的 PXE88/89系列 PCIE Switch 从 PCIE 5.0 x16一拆二得到的 PCIe 4.0，但是竞争严重，同簇下的 nccl-tests 惨不忍睹，所以，还是只测 TP ，测的没上次多

Qwen3 4B BF16
image508×236 19.7 KB

Qwen3 32B BF16
image640×217 25.7 KB

Qwen3 32B FP8
image588×199 19.4 KB

Qwen3 30B A3B BF16
image705×214 27.5 KB

网友解答：

---

--【壹】--：

Ada 架构，不支持 FP4，单卡24G

机器应该是用 博通 的 PXE88/89系列 PCIE Switch 从 PCIE 5.0 x16一拆二得到的 PCIe 4.0，但是竞争严重，同簇下的 nccl-tests 惨不忍睹，所以，还是只测 TP ，测的没上次多

Qwen3 4B BF16
image508×236 19.7 KB

Qwen3 32B BF16
image640×217 25.7 KB

Qwen3 32B FP8
image588×199 19.4 KB

Qwen3 30B A3B BF16
image705×214 27.5 KB