两张nvdia 4090本地大模型分析

问题描述：

RTX 4090 本身是 PCIe 4.0 x16 设备，也就是显卡接口规格支持：

PCIe 4.0 x16

对应理论单向带宽约：

PCIe 4.0 x16 ≈ 31.5 GB/s PCIe 4.0 x8 ≈ 15.75 GB/s

项目	带宽
PCIe 4.0 x16	约 31.5 GB/s 单向，约 63 GB/s 双向合计	CPU/主板 ↔ GPU 之间的数据通道
PCIe 4.0 x8	约 15.75 GB/s 单向，约 31.5 GB/s 双向合计	双 4090 在消费级平台上常见状态
RTX 4090 显存带宽	约 1008 GB/s	4090 GPU 核心 ↔ 自己的 24GB GDDR6X 显存
M4 Max 32 核 GPU版	410 GB/s	Apple 统一内存带宽
M4 Max 40 核 GPU版	546 GB/s	Apple 统一内存带宽

项目	带宽
PCIe 4.0 x16	约 31.5 GB/s 单向，约 63 GB/s 双向合计	CPU/主板 ↔ GPU 之间的数据通道
PCIe 4.0 x8	约 15.75 GB/s 单向，约 31.5 GB/s 双向合计	双 4090 在消费级平台上常见状态
RTX 4090 显存带宽	约 1008 GB/s	4090 GPU 核心 ↔ 自己的 24GB GDDR6X 显存
M4 Max 32 核 GPU版	410 GB/s	Apple 统一内存带宽
M4 Max 40 核 GPU版	546 GB/s	Apple 统一内存带宽