New-API怎么关闭使用日志里的缓存显示
- 内容介绍
- 文章标签
- 相关推荐
问题描述:
--【壹】--:
--【贰】--:
--【叁】--:
--【肆】--:
这个有全局的开关吗,模型里关闭缓存后,使用日志哪里还是显示缓存,是没打折的价格
网友解答:--【壹】--:
是要多收费吗,命中缓存不让人看到。哈哈
--【贰】--:
我是想命中缓存了也不让别人看先,不显示出来,这个没办法做到是吧
--【叁】--:
可以魔改一下这个函数,让后重新编译
- https://github.com/QuantumNous/new-api/blob/main/service/text_quota.go#L80
--【肆】--:
NewAPI 只能配置命中缓存时的模型 提示缓存倍率/缓存创建倍率 从而决定每次请求的成本
使用日志页面展示的缓存相关的信息是从渠道上游的API响应中获取的,和你是否设置自定义的提示缓存倍率/缓存创建倍率 无关。
提示缓存倍率默认是1/缓存创建倍率默认是1.25
如果实在不想看到,可以在客户端(消费端)关闭模型缓存
问题描述:
--【壹】--:
--【贰】--:
--【叁】--:
--【肆】--:
这个有全局的开关吗,模型里关闭缓存后,使用日志哪里还是显示缓存,是没打折的价格
网友解答:--【壹】--:
是要多收费吗,命中缓存不让人看到。哈哈
--【贰】--:
我是想命中缓存了也不让别人看先,不显示出来,这个没办法做到是吧
--【叁】--:
可以魔改一下这个函数,让后重新编译
- https://github.com/QuantumNous/new-api/blob/main/service/text_quota.go#L80
--【肆】--:
NewAPI 只能配置命中缓存时的模型 提示缓存倍率/缓存创建倍率 从而决定每次请求的成本
使用日志页面展示的缓存相关的信息是从渠道上游的API响应中获取的,和你是否设置自定义的提示缓存倍率/缓存创建倍率 无关。
提示缓存倍率默认是1/缓存创建倍率默认是1.25
如果实在不想看到,可以在客户端(消费端)关闭模型缓存

