【开源】LLMRelayService —— Docker 部署个人大模型网关

2026-04-29 09:271阅读0评论SEO问题
  • 内容介绍
  • 文章标签
  • 相关推荐
问题描述:

本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:

  • 我的帖子已经打上 开源推广 标签:

  • 我的开源项目完整开源,无未开源部分:

  • 我的开源项目已链接认可 LINUX DO 社区: README 已添加链接

  • 我帖子内的项目介绍,AI生成、润色内容部分已截图发出:

  • 以上选择我承诺是永久有效的,接受社区和佬友监督:


一、前言

之前用NewAPI,就是有点重,比较适合中转站,和自用不太一样。

遇到的问题如下:

  1. 有时候需要看请求完整内容

  2. 模型价格需要配置和同步

  3. 接口格式转换稳定性很玄学

  4. 用户管理、余额功能用不到

遂开发了一个自用的网关 GitHub - GoJam11/LLMRelayService · GitHub

二、基础使用

支持配置 openai 和anthropic 上游,可以直接使用v1/chat/completions 等端点。

三、高级功能

指定渠道

请求时可以加/providers/{channelName}指定上游

路由别名

支持将任意model name 映射到providers.model。下游应用可以配置"Auto"模型。

阅读全文
问题描述:

本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:

  • 我的帖子已经打上 开源推广 标签:

  • 我的开源项目完整开源,无未开源部分:

  • 我的开源项目已链接认可 LINUX DO 社区: README 已添加链接

  • 我帖子内的项目介绍,AI生成、润色内容部分已截图发出:

  • 以上选择我承诺是永久有效的,接受社区和佬友监督:


一、前言

之前用NewAPI,就是有点重,比较适合中转站,和自用不太一样。

遇到的问题如下:

  1. 有时候需要看请求完整内容

  2. 模型价格需要配置和同步

  3. 接口格式转换稳定性很玄学

  4. 用户管理、余额功能用不到

遂开发了一个自用的网关 GitHub - GoJam11/LLMRelayService · GitHub

二、基础使用

支持配置 openai 和anthropic 上游,可以直接使用v1/chat/completions 等端点。

三、高级功能

指定渠道

请求时可以加/providers/{channelName}指定上游

路由别名

支持将任意model name 映射到providers.model。下游应用可以配置"Auto"模型。

阅读全文