如果搞个LLM Gateway 有没有搞头

问题描述：

现在好像没有什么开源免费的，LLM Gateway 只有阿里的Higress。而且也是处于初步阶段。感觉后续，搞AI项目的公司和个人越来越多，LLM Gateway肯定会成为刚需。

如果现在搞一个LLM Gateway开源，大家觉得有没有搞头

网友解答：

---

--【壹】--：

我看了，不就是个云网关啊。提供了接入 LLM API 和 MCP API。这种通过 Istio 和 Envoy 加上插件在 K8S 上早就有了。只是阿里开源了。

---

--【贰】--：

网关能力向阿里直接炒的 Istio 的。调度可以编码和阿里的项目一样集成变成一个 ai 网关。也可以做成插件实现。

---

--【叁】--：

是的，这种不符合厂商的利益，但是有实用的价值，而且还有尽量的简单，轻量，尽量不过多的占用服务器资源和运维成本。尤其是现在做AI应用的越来越多，如果有这种的话，能在业务层省下一大部分的开发

---

--【肆】--：

那个不应该叫做网关，网关的职责应该简单明了，AI 接管调度的话链路和响应时间过长（这个可以在应用层实现一个系统，通过一个管理系统调度）。如果只是规则性模型调用可以使用 Envoy 插件实现。

---

--【伍】--：

其实就是大模型网关，用于大模型和业务层的中间部分，就像是业务系统的网关一样，整合大模型，并且提供，负载均衡，限流，熔断，重试，分配，日志，状态监控，敏感过滤，鉴权，计费，请求缓存。还能拓展出规则化模型选择，比如先分析语义，简单的语义交给小模型，复杂语义交给大的模型之类的功能。

业务端只需要接入LLM Gateway

---

--【陆】--： 风如歌:

LLM Gateway

没懂，这个是干什么用的

描述一下

CPA/newapi这种不算是吗

---

--【柒】--： 风如歌:

敏感过滤，鉴权，计费，请求缓存

我懂了

我问过这个问题

https://linux.do/t/topic/1810082

---

但是我觉得可能不符合厂商利益，厂商没动力做这件事情（给你弄好了Gateway，到时候意见切换了）
就算符合厂商利益，厂商也没想法做这件事情（能直接卖token，干嘛搞这么复杂）

可能过几年就有了，得再等等

风如歌:

大家觉得有没有搞头

佬友可以搞搞看，需求肯定有的

不过感觉上就是高级版的CPA和newapi，整合整合就好了

---

--【捌】--：

现在考虑的就是，混合调度+网关能力

---

--【玖】--：

对，不过感觉如果融合一下规则性模型调用或者是AI化模型调用应该是个空白，这种甚至能够实现混合专家