【开源】LLMRelayService —— Docker 部署个人大模型网关

2026-04-29 09:272阅读0评论SEO问题
  • 内容介绍
  • 文章标签
  • 相关推荐
问题描述:

本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:

  • 我的帖子已经打上 开源推广 标签:

  • 我的开源项目完整开源,无未开源部分:

  • 我的开源项目已链接认可 LINUX DO 社区: README 已添加链接

  • 我帖子内的项目介绍,AI生成、润色内容部分已截图发出:

  • 以上选择我承诺是永久有效的,接受社区和佬友监督:


一、前言

之前用NewAPI,就是有点重,比较适合中转站,和自用不太一样。

遇到的问题如下:

  1. 有时候需要看请求完整内容

  2. 模型价格需要配置和同步

  3. 接口格式转换稳定性很玄学

  4. 用户管理、余额功能用不到

遂开发了一个自用的网关 GitHub - GoJam11/LLMRelayService · GitHub

二、基础使用

支持配置 openai 和anthropic 上游,可以直接使用v1/chat/completions 等端点。

三、高级功能

指定渠道

请求时可以加/providers/{channelName}指定上游

路由别名

支持将任意model name 映射到providers.model。下游应用可以配置"Auto"模型。

请求日志

可以查看首Token 耗时、总耗时、Token 消耗和缓存、价格

渠道健康

使用趋势

模型和来源聚合

成本和缓存

Responses转换

支持将上游chat compeltions转为responses,兼容Codex


仓库地址: GitHub - GoJam11/LLMRelayService · GitHub

这个项目起初是为了接入各种中转上游做的,可以清楚看到各个上游的成功率等数据,包括coding plan。

如果对你有帮助,欢迎 Star~ 也欢迎提意见

网友解答:
--【壹】--:

我觉得还是需要 compatible 适配 responses 吧 可以参考 cpa 做一个统一适配层


--【贰】--:

最近正好在找网关服务,之前用的one-hub,可是作者已经停更了,这个的日志管理不错,但是openai的协议转换确实也有需求,而且迁移服务的成本也不小,纠结啊~


--【叁】--:

看着转换的问题有点多,尤其是tool use,编译情况很多。不过openai 内转换可能好点。

问题描述:

本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:

  • 我的帖子已经打上 开源推广 标签:

  • 我的开源项目完整开源,无未开源部分:

  • 我的开源项目已链接认可 LINUX DO 社区: README 已添加链接

  • 我帖子内的项目介绍,AI生成、润色内容部分已截图发出:

  • 以上选择我承诺是永久有效的,接受社区和佬友监督:


一、前言

之前用NewAPI,就是有点重,比较适合中转站,和自用不太一样。

遇到的问题如下:

  1. 有时候需要看请求完整内容

  2. 模型价格需要配置和同步

  3. 接口格式转换稳定性很玄学

  4. 用户管理、余额功能用不到

遂开发了一个自用的网关 GitHub - GoJam11/LLMRelayService · GitHub

二、基础使用

支持配置 openai 和anthropic 上游,可以直接使用v1/chat/completions 等端点。

三、高级功能

指定渠道

请求时可以加/providers/{channelName}指定上游

路由别名

支持将任意model name 映射到providers.model。下游应用可以配置"Auto"模型。

请求日志

可以查看首Token 耗时、总耗时、Token 消耗和缓存、价格

渠道健康

使用趋势

模型和来源聚合

成本和缓存

Responses转换

支持将上游chat compeltions转为responses,兼容Codex


仓库地址: GitHub - GoJam11/LLMRelayService · GitHub

这个项目起初是为了接入各种中转上游做的,可以清楚看到各个上游的成功率等数据,包括coding plan。

如果对你有帮助,欢迎 Star~ 也欢迎提意见

网友解答:
--【壹】--:

我觉得还是需要 compatible 适配 responses 吧 可以参考 cpa 做一个统一适配层


--【贰】--:

最近正好在找网关服务,之前用的one-hub,可是作者已经停更了,这个的日志管理不错,但是openai的协议转换确实也有需求,而且迁移服务的成本也不小,纠结啊~


--【叁】--:

看着转换的问题有点多,尤其是tool use,编译情况很多。不过openai 内转换可能好点。