如果搞个LLM Gateway 有没有搞头

问题描述：

现在好像没有什么开源免费的，LLM Gateway 只有阿里的Higress。而且也是处于初步阶段。感觉后续，搞AI项目的公司和个人越来越多，LLM Gateway肯定会成为刚需。

如果现在搞一个LLM Gateway开源，大家觉得有没有搞头

网友解答：

---

--【壹】--：

我看了，不就是个云网关啊。提供了接入 LLM API 和 MCP API。这种通过 Istio 和 Envoy 加上插件在 K8S 上早就有了。只是阿里开源了。

---

--【贰】--：

网关能力向阿里直接炒的 Istio 的。调度可以编码和阿里的项目一样集成变成一个 ai 网关。也可以做成插件实现。

---

--【叁】--：

是的，这种不符合厂商的利益，但是有实用的价值，而且还有尽量的简单，轻量，尽量不过多的占用服务器资源和运维成本。尤其是现在做AI应用的越来越多，如果有这种的话，能在业务层省下一大部分的开发

---

--【肆】--：

那个不应该叫做网关，网关的职责应该简单明了，AI 接管调度的话链路和响应时间过长（这个可以在应用层实现一个系统，通过一个管理系统调度）。如果只是规则性模型调用可以使用 Envoy 插件实现。

---

--【伍】--：

其实就是大模型网关，用于大模型和业务层的中间部分，就像是业务系统的网关一样，整合大模型，并且提供，负载均衡，限流，熔断，重试，分配，日志，状态监控，敏感过滤，鉴权，计费，请求缓存。还能拓展出规则化模型选择，比如先分析语义，简单的语义交给小模型，复杂语义交给大的模型之类的功能。