关于个人使用的大模型路由项目
- 内容介绍
- 文章标签
- 相关推荐
想问一下各位大佬,个人使用大模型路由项目用什么比较好呢,比如需要负载均衡,然后竞速,cache reuse 等一些功能。
我现在在用 Claude code hub,但是自己魔改给他改废了。我看很多中转站用的都是 new api,我比较好奇这个在路由上面会做的更好吗?
其他还有一些选项,比如 metapi, octopus 等等。比较好奇哪个会好一点,请大佬推荐一下
补充一下,由于最近的一些公益 api 非常不稳定,所以我尝试不是使用每次的真实请求去进行路由,而是我通过类似 check-cx 进行实时的状态检测,然后把这个数据拿过来作为路由的依据。不然真实的延迟会很高。
同时,感觉最近非常的不稳定,我在考虑把 stream disconnected 等 429 状态信息也拿过来作为权重,但是由于最近在尝试使用 jujutsu,导致多个 change + workspace 直接给我的部署 docker 搞砸了,不知道现在项目的提交是个什么情况,所以打算重新搞一个路由(
--【壹】--:
建议 多部署 找到自己的甜点 软件
我现在是 octopus 接常用的模型
cliproxy 来反代 专供代码编程使用
然后 axonhub 兜底
开箱即用 简单 就用octopus
【木子狸的指北指南】01 Octopus 的部署与使用 开发调优写在最前面,没有需求不要轻易买 VPS/服务器。真的很没必要。 偶然看到了这个帖子,正好手上有台连接到 Zeabur 的海外 VPS 还可以用。 来试试吧。 然后就是这个 UI 在众多 API 服务的页面中脱颖而出。 [主页] 我觉得挺不错。 在 Zeabur 部署 选择你的 VPS/服务器。
想问一下各位大佬,个人使用大模型路由项目用什么比较好呢,比如需要负载均衡,然后竞速,cache reuse 等一些功能。
我现在在用 Claude code hub,但是自己魔改给他改废了。我看很多中转站用的都是 new api,我比较好奇这个在路由上面会做的更好吗?
其他还有一些选项,比如 metapi, octopus 等等。比较好奇哪个会好一点,请大佬推荐一下
补充一下,由于最近的一些公益 api 非常不稳定,所以我尝试不是使用每次的真实请求去进行路由,而是我通过类似 check-cx 进行实时的状态检测,然后把这个数据拿过来作为路由的依据。不然真实的延迟会很高。
同时,感觉最近非常的不稳定,我在考虑把 stream disconnected 等 429 状态信息也拿过来作为权重,但是由于最近在尝试使用 jujutsu,导致多个 change + workspace 直接给我的部署 docker 搞砸了,不知道现在项目的提交是个什么情况,所以打算重新搞一个路由(
--【壹】--:
建议 多部署 找到自己的甜点 软件
我现在是 octopus 接常用的模型
cliproxy 来反代 专供代码编程使用
然后 axonhub 兜底
开箱即用 简单 就用octopus
【木子狸的指北指南】01 Octopus 的部署与使用 开发调优写在最前面,没有需求不要轻易买 VPS/服务器。真的很没必要。 偶然看到了这个帖子,正好手上有台连接到 Zeabur 的海外 VPS 还可以用。 来试试吧。 然后就是这个 UI 在众多 API 服务的页面中脱颖而出。 [主页] 我觉得挺不错。 在 Zeabur 部署 选择你的 VPS/服务器。

