Trinity Large：基于Nvidia B300 GPU打造的 400B 稀疏 MoE，声称超越 GLM 4.5 和 MiniMax M2.1
- 内容介绍
- 文章标签
- 相关推荐
Trinity 团队今日正式宣布推出其旗舰级模型——Trinity Large。
继两个月前发布 Nano 和 Mini 版本后，Trinity 团队决定“不再将预训练视为别人的工作”，在 2,048 张 Nvidia B300 GPU 上完成了这次训练。
此次发布最引人注目的是，团队一次性放出了三个不同的检查点版本：Preview（预览版）、Base（基础版） 和 TrueBase（纯净基础版），分别针对应用、微调和深度研究需求。
Trinity Large 是一个拥有 4000 亿（400B）参数的稀疏混合专家（MoE）模型。
- 尽管总参数量巨大，但每个 token 仅激活 130 亿（13B）参数。
- 模型包含 256 个专家，每个 token 仅选择前 4 个专家（4-of-256）。这意味着其路由激活比例仅为 1.56%。
相比之下，DeepSeek-V3 和 MiniMax-M2 的激活比例约为 3.13%，而 Qwen3 则高达 6.25%。目前只有 Meta 的 Llama 4 Maverick 在稀疏度上（0.78%）比 Trinity 更为激进。
官方表示，这种高稀疏度配合其技术报告中提到的高效注意力机制，使得 Trinity Large 在同等硬件下的推理速度比同量级竞品快 2-3 倍。从公布的吞吐量图表来看，在 8xH200 环境下，其总吞吐量（Total Throughput）显著高于 DeepSeek-V3 和 GLM-4.7。
Trinity-Large-Base：
这是完成了完整 17T（17万亿）token 训练配方的最佳预训练检查点。
Trinity 团队今日正式宣布推出其旗舰级模型——Trinity Large。
继两个月前发布 Nano 和 Mini 版本后，Trinity 团队决定“不再将预训练视为别人的工作”，在 2,048 张 Nvidia B300 GPU 上完成了这次训练。
此次发布最引人注目的是，团队一次性放出了三个不同的检查点版本：Preview（预览版）、Base（基础版） 和 TrueBase（纯净基础版），分别针对应用、微调和深度研究需求。
Trinity Large 是一个拥有 4000 亿（400B）参数的稀疏混合专家（MoE）模型。
- 尽管总参数量巨大，但每个 token 仅激活 130 亿（13B）参数。
- 模型包含 256 个专家，每个 token 仅选择前 4 个专家（4-of-256）。这意味着其路由激活比例仅为 1.56%。
相比之下，DeepSeek-V3 和 MiniMax-M2 的激活比例约为 3.13%，而 Qwen3 则高达 6.25%。目前只有 Meta 的 Llama 4 Maverick 在稀疏度上（0.78%）比 Trinity 更为激进。
官方表示，这种高稀疏度配合其技术报告中提到的高效注意力机制，使得 Trinity Large 在同等硬件下的推理速度比同量级竞品快 2-3 倍。从公布的吞吐量图表来看，在 8xH200 环境下，其总吞吐量（Total Throughput）显著高于 DeepSeek-V3 和 GLM-4.7。
Trinity-Large-Base：
这是完成了完整 17T（17万亿）token 训练配方的最佳预训练检查点。