关于个人使用的大模型路由项目
- 内容介绍
- 文章标签
- 相关推荐
想问一下各位大佬，个人使用大模型路由项目用什么比较好呢，比如需要负载均衡，然后竞速，cache reuse 等一些功能。
我现在在用 Claude code hub，但是自己魔改给他改废了。我看很多中转站用的都是 new api，我比较好奇这个在路由上面会做的更好吗？
其他还有一些选项，比如 metapi, octopus 等等。比较好奇哪个会好一点，请大佬推荐一下
补充一下，由于最近的一些公益 api 非常不稳定，所以我尝试不是使用每次的真实请求去进行路由，而是我通过类似 check-cx 进行实时的状态检测，然后把这个数据拿过来作为路由的依据。不然真实的延迟会很高。
同时，感觉最近非常的不稳定，我在考虑把 stream disconnected 等 429 状态信息也拿过来作为权重，但是由于最近在尝试使用 jujutsu，导致多个 change + workspace 直接给我的部署 docker 搞砸了，不知道现在项目的提交是个什么情况，所以打算重新搞一个路由（
--【壹】--：
建议 多部署 找到自己的甜点 软件
我现在是 octopus 接常用的模型
cliproxy 来反代 专供代码编程使用
然后 axonhub 兜底
开箱即用 简单 就用octopus
【木子狸的指北指南】01 Octopus 的部署与使用 开发调优写在最前面，没有需求不要轻易买 VPS/服务器。真的很没必要。 偶然看到了这个帖子，正好手上有台连接到 Zeabur 的海外 VPS 还可以用。 来试试吧。 然后就是这个 UI 在众多 API 服务的页面中脱颖而出。 [主页] 我觉得挺不错。 在 Zeabur 部署 选择你的 VPS/服务器。然后进入项目，然后选择新建服务，然后选择 Docker 镜像 [选择docker容…
然后进阶一些
【木子狸的指北指南】02 CLIProxyAPI 搞七捻三起因 起因是我发了一篇 【木子狸的指北指南】01 Octopus 的部署与使用 - #5，来自 Muzilee 然后和 @apparition 这位佬讨论了一下。 打算试一试看。 由于社区已经有很好的帖子了，所以在这里我就只按照我使用的方式，来简单的讲解下在 Zeabur 上的安装和使用 欸 突然发现已经有佬友写了 那我还是偷个懒hhh https://linux.do/t/top…
然后还有个 Axnohub
GitHub - looplj/axonhub: ⚡️ Open-source AI Gateway — Use any SDK to call...
⚡️ Open-source AI Gateway — Use any SDK to call 100+ LLMs. Built-in failover, load balancing, cost control & end-to-end tracing.
--【贰】--：
我在用cch和CPA。
另外最近sub2api很火可以看看。我没用过。
NewAPI有些……陈旧，对新生代的ClaudeCode、Codex这些支持不是很好。
不过这是我在用cch之前的事情了。毕竟现在很多中转商也在用NewAPI，所以还是OK的吧。但感觉不适合个人用户。
--【叁】--：
LiteLLM 上周被发现供应链攻击投毒了，在用的话最好检查下版本
--【肆】--：
我就用 cch
建议就用 cch
铁打的 cch
流水的 provider
stream disconnect 是最近 codex 的问题吧
我都是 opus 调度让 codex 干活，我没有仔细看相关问题
但我的体验没什么影响
我不建议用太多公益
会带来不幸
--【伍】--：
感谢感谢，L站大佬好多
--【陆】--：
jujutsu 推荐一个自己写的 skills: skills/skills/jujutsu at master · lambda610/skills · GitHub
--【柒】--：
好的，谢谢，我再体验一下
--【捌】--：
好的好的谢谢，我昨天晚上部署了好多，打算都先用用，然后也不打算自己维护一个版本了，感觉做这个事情性价比有点低。（
--【玖】--：
是的 佬 会比newapi舒服在哪
--【拾】--： wncfht:
octopus
我在用octopus， 我感觉没问题，而且可以直接docker安装体验
--【拾壹】--：
可以试试LiteLLM
想问一下各位大佬，个人使用大模型路由项目用什么比较好呢，比如需要负载均衡，然后竞速，cache reuse 等一些功能。
我现在在用 Claude code hub，但是自己魔改给他改废了。我看很多中转站用的都是 new api，我比较好奇这个在路由上面会做的更好吗？
其他还有一些选项，比如 metapi, octopus 等等。比较好奇哪个会好一点，请大佬推荐一下
补充一下，由于最近的一些公益 api 非常不稳定，所以我尝试不是使用每次的真实请求去进行路由，而是我通过类似 check-cx 进行实时的状态检测，然后把这个数据拿过来作为路由的依据。不然真实的延迟会很高。
同时，感觉最近非常的不稳定，我在考虑把 stream disconnected 等 429 状态信息也拿过来作为权重，但是由于最近在尝试使用 jujutsu，导致多个 change + workspace 直接给我的部署 docker 搞砸了，不知道现在项目的提交是个什么情况，所以打算重新搞一个路由（
--【壹】--：
建议 多部署 找到自己的甜点 软件
我现在是 octopus 接常用的模型
cliproxy 来反代 专供代码编程使用
然后 axonhub 兜底
开箱即用 简单 就用octopus
【木子狸的指北指南】01 Octopus 的部署与使用 开发调优写在最前面，没有需求不要轻易买 VPS/服务器。真的很没必要。 偶然看到了这个帖子，正好手上有台连接到 Zeabur 的海外 VPS 还可以用。 来试试吧。 然后就是这个 UI 在众多 API 服务的页面中脱颖而出。 [主页] 我觉得挺不错。 在 Zeabur 部署 选择你的 VPS/服务器。然后进入项目，然后选择新建服务，然后选择 Docker 镜像 [选择docker容…
然后进阶一些
【木子狸的指北指南】02 CLIProxyAPI 搞七捻三起因 起因是我发了一篇 【木子狸的指北指南】01 Octopus 的部署与使用 - #5，来自 Muzilee 然后和 @apparition 这位佬讨论了一下。 打算试一试看。 由于社区已经有很好的帖子了，所以在这里我就只按照我使用的方式，来简单的讲解下在 Zeabur 上的安装和使用 欸 突然发现已经有佬友写了 那我还是偷个懒hhh https://linux.do/t/top…
然后还有个 Axnohub
GitHub - looplj/axonhub: ⚡️ Open-source AI Gateway — Use any SDK to call...
⚡️ Open-source AI Gateway — Use any SDK to call 100+ LLMs. Built-in failover, load balancing, cost control & end-to-end tracing.
--【贰】--：
我在用cch和CPA。
另外最近sub2api很火可以看看。我没用过。
NewAPI有些……陈旧，对新生代的ClaudeCode、Codex这些支持不是很好。
不过这是我在用cch之前的事情了。毕竟现在很多中转商也在用NewAPI，所以还是OK的吧。但感觉不适合个人用户。
--【叁】--：
LiteLLM 上周被发现供应链攻击投毒了，在用的话最好检查下版本
--【肆】--：
我就用 cch
建议就用 cch
铁打的 cch
流水的 provider
stream disconnect 是最近 codex 的问题吧
我都是 opus 调度让 codex 干活，我没有仔细看相关问题
但我的体验没什么影响
我不建议用太多公益
会带来不幸
--【伍】--：
感谢感谢，L站大佬好多
--【陆】--：
jujutsu 推荐一个自己写的 skills: skills/skills/jujutsu at master · lambda610/skills · GitHub
--【柒】--：
好的，谢谢，我再体验一下
--【捌】--：
好的好的谢谢，我昨天晚上部署了好多，打算都先用用，然后也不打算自己维护一个版本了，感觉做这个事情性价比有点低。（
--【玖】--：
是的 佬 会比newapi舒服在哪
--【拾】--： wncfht:
octopus
我在用octopus， 我感觉没问题，而且可以直接docker安装体验
--【拾壹】--：
可以试试LiteLLM