【中转站搭建请教】自建模型中转站的方案推荐
- 内容介绍
- 文章标签
- 相关推荐
接话题【付费中转站推荐】,在搭建上,向佬友们请教
【求助】付费的中转站推荐
上一个话题收集了各位佬友的优质付费中转站推荐,真的很感激各位佬友的推荐(太爱L站的氛围了)
**搭建目标:**做一个给公司内和合作公司用的中转站,主要是开发和模型应用会来用到token
**核心追求:**稳定可用,也考虑一定的成本(所以找稳定的付费中转站作为上游)
**风险把控:**风险我们会自己评估,不把敏感数据和业务数据暴露使用在中转站上,只是用它来辅助。重要的内容,我们会通过订阅官方的api或者私有部署开源模型来规避(肯定不给数据泄露的风险,希望各位佬能指教一下)
互联网和站内搜了一下中转站的部署方式,几乎隔段时间就有更新,多种多样。不知道怎么选择了,特此来请教各位佬,望指教(抱拳感谢.jpg)
架构上:
上游:综合上一个话题的付费中转站做模型源,轮询调用,不用维护各个模型的源头问题
中转站:搭建后,公司内使用;也会给到一些合作公司用。可以通过域名/key/账号等凭证来管理人员/企业使用的信息,便于溯源问题(避免封号之类的风险)
希望各位佬能指导一下这样的站点的话,用什么方式搭建比较合适呢
网友解答:--【壹】--:
上游直接对接现有的付费中转站,不搞号池。结合前面的佬友建议,准备直接搞个newapi甩出去了,下午跟同事沟通怎么做合适
--【贰】--:
上游用现成的中转站的,转给其他人用,也建议sub么?就是拿不准才开的话题,我看站内有人说newapi偏网关和套餐管理;sub偏号池管理。拿不准选哪个
--【叁】--:
回来看话题没有收到回复,辛苦大佬看到的时候,不吝赐教一下经验呗
--【肆】--:
上游的模型供应商,找商用的中转站。
接话题【付费中转站推荐】,在搭建上,向佬友们请教
【求助】付费的中转站推荐
上一个话题收集了各位佬友的优质付费中转站推荐,真的很感激各位佬友的推荐(太爱L站的氛围了)
**搭建目标:**做一个给公司内和合作公司用的中转站,主要是开发和模型应用会来用到token
**核心追求:**稳定可用,也考虑一定的成本(所以找稳定的付费中转站作为上游)
**风险把控:**风险我们会自己评估,不把敏感数据和业务数据暴露使用在中转站上,只是用它来辅助。重要的内容,我们会通过订阅官方的api或者私有部署开源模型来规避(肯定不给数据泄露的风险,希望各位佬能指教一下)
互联网和站内搜了一下中转站的部署方式,几乎隔段时间就有更新,多种多样。不知道怎么选择了,特此来请教各位佬,望指教(抱拳感谢.jpg)
架构上:
上游:综合上一个话题的付费中转站做模型源,轮询调用,不用维护各个模型的源头问题
中转站:搭建后,公司内使用;也会给到一些合作公司用。可以通过域名/key/账号等凭证来管理人员/企业使用的信息,便于溯源问题(避免封号之类的风险)
希望各位佬能指导一下这样的站点的话,用什么方式搭建比较合适呢
网友解答:--【壹】--:
上游直接对接现有的付费中转站,不搞号池。结合前面的佬友建议,准备直接搞个newapi甩出去了,下午跟同事沟通怎么做合适
--【贰】--:
上游用现成的中转站的,转给其他人用,也建议sub么?就是拿不准才开的话题,我看站内有人说newapi偏网关和套餐管理;sub偏号池管理。拿不准选哪个
--【叁】--:
回来看话题没有收到回复,辛苦大佬看到的时候,不吝赐教一下经验呗
--【肆】--:
上游的模型供应商,找商用的中转站。

