[求助]请问各位佬友，中转站怎么搭建调优

问题描述：

公司是 aws 的代理商，有 bedrock claude 的渠道，但是 aws 控制台没有分发和计费的功能，目前在用new api 进行分发，客户主要是toB的，但是客户反馈延迟较高，所以想求助各位佬友有没有好的建议，尤其是关于延迟和缓存方面的

网友解答：

---

--【壹】--：

部署服务器开启 PYROSCOPE 相关的配置

目的是探测到底是哪个环节慢 需要先拿到数据再优化

排除 NEWAPI 自己的问题那优化点就是

• 去上游的延迟降低
• 用户到你的网关延迟降低

相关链接

• https://pyroscope.io/
• https://github.com/QuantumNous/new-api