模型压力测试工具调研

问题描述：

老板让调研一下业界有什么模型压力测试工具，我整理了一些，佬友们有无从事相关方向工作的？

类别	工具名称	核心支持指标	适配后端 / 推理框架	支持模型类型	归属 / 维护方	官方榜单
框架原生	vLLM Benchmark	首字速度、生成速度、总时延、吞吐量、并发能力	vLLM 原生，也能测 OpenAI 兼容接口	主流 LLM，部分 pooling 场景	vLLM 官方	无
框架原生	GuideLLM	更偏生产视角的压测；看 TTFT、ITL、总时延、吞吐拐点、SLO/SLA 是否达标	OpenAI 兼容服务、vLLM-native	主流 LLM，也支持多模态输入数据	vLLM 项目	无
框架原生	SGLang Bench	单批/服务压测、延迟、吞吐、Profiling 分析	SGLang 原生	LLM、VLM/多模态	SGLang 官方	无
框架原生	GenAI-bench	高并发下的 token 级性能测试；看吞吐、延迟、并发表现	OpenAI 兼容接口，常用于 SGLang 等服务	主流 LLM	sgl-project 社区	无
框架原生	TGI Benchmark	TGI 服务的吞吐、时延、不同 batch 配置下的性能变化	Hugg 阅读全文 标签：人工智能 相关推荐 81921有网安相关的视频资料吗？能公开的都行。81923Team稳定1月再送5个朋友【第二弹】81931【PT刷流】Auto-Seedbox-PT 全自动部署 + 内核级极限调优一键脚本81933【已无】完成基于内存的PoW证明，赢得邀请码81935关于webshare的ip81937月抛模拟器在线玩81949基于docker搭建newapi图文教程81951『富可敌国』【星辰AI】给大家发一点福利咯~（特惠 gpt-team 分组已经上线，支持gpt 5.4，倍率0.05）81955看来甲骨文的龟壳真的松了，哈哈哈81961想问下佬友们，在Claude code中用gpt5.4等模型，感觉怎么样81965GPT Pro拼车有什么注意事项么81970也终于是在autodl服务器上成功使用上了antigravity和claude code81974如何在Ruby中通过父类直接引用并调用子类定义的常量？81980Ruby on Rails 活跃记录中最常见值是啥？揭秘长尾词之谜！81983如何通过选对SEO优化方向，更高效地改写网站内容？81987如何避免在Rails 4中因单独布局CSS导致样式冲突？ 问题描述： 老板让调研一下业界有什么模型压力测试工具，我整理了一些，佬友们有无从事相关方向工作的？ 类别 工具名称 核心支持指标 适配后端 / 推理框架 支持模型类型 归属 / 维护方 官方榜单 框架原生 vLLM Benchmark 首字速度、生成速度、总时延、吞吐量、并发能力 vLLM 原生，也能测 OpenAI 兼容接口 主流 LLM，部分 pooling 场景 vLLM 官方 无 框架原生 GuideLLM 更偏生产视角的压测；看 TTFT、ITL、总时延、吞吐拐点、SLO/SLA 是否达标 OpenAI 兼容服务、vLLM-native 主流 LLM，也支持多模态输入数据 vLLM 项目 无 框架原生 SGLang Bench 单批/服务压测、延迟、吞吐、Profiling 分析 SGLang 原生 LLM、VLM/多模态 SGLang 官方 无 框架原生 GenAI-bench 高并发下的 token 级性能测试；看吞吐、延迟、并发表现 OpenAI 兼容接口，常用于 SGLang 等服务 主流 LLM sgl-project 社区 无 框架原生 TGI Benchmark TGI 服务的吞吐、时延、不同 batch 配置下的性能变化 Hugg 阅读全文 标签：人工智能 相关推荐 81921有网安相关的视频资料吗？能公开的都行。81923Team稳定1月再送5个朋友【第二弹】81931【PT刷流】Auto-Seedbox-PT 全自动部署 + 内核级极限调优一键脚本81933【已无】完成基于内存的PoW证明，赢得邀请码81935关于webshare的ip81937月抛模拟器在线玩81949基于docker搭建newapi图文教程81951『富可敌国』【星辰AI】给大家发一点福利咯~（特惠 gpt-team 分组已经上线，支持gpt 5.4，倍率0.05）81955看来甲骨文的龟壳真的松了，哈哈哈81961想问下佬友们，在Claude code中用gpt5.4等模型，感觉怎么样81965GPT Pro拼车有什么注意事项么81970也终于是在autodl服务器上成功使用上了antigravity和claude code81974如何在Ruby中通过父类直接引用并调用子类定义的常量？81980Ruby on Rails 活跃记录中最常见值是啥？揭秘长尾词之谜！81983如何通过选对SEO优化方向，更高效地改写网站内容？81987如何避免在Rails 4中因单独布局CSS导致样式冲突？