关于sub2api公益站 codex token缓存命中问题讨论。
- 内容介绍
- 文章标签
- 相关推荐
token 缓存解释:
Token缓存就是把 AI 已经计算过的固定输入先“存档”并在后续请求里直接复用,优点是响应更快、成本更低、体验更稳定。
7bdc5729660bb06658828adac2d0f807311×218 3.92 KB
有缓存命中大概能降低余额80%的消耗
网友解答:sub2站点后台发现很多佬友token缓存读取有问题,佬友还不知道什么是缓存,导致余额用的飞快,是什么原因呢?有没有佬友知道的 , 一起讨论讨论,目前我只知道其他ide使用gpt 请求接口问题会导致无缓存
--【壹】--:
有几个关键的headers和参数影响缓存
--【贰】--:
佬余额要没了 ,linuxdo-191992@linuxdo-connect.invalid
--【叁】--:
会不会导致上下文消耗更快
--【肆】--:
佬可以看看是不是这个问题,我看issue有一个还没合并的pr跟缓存有关,是说用codex cli以外的客户端可能导致的缓存不命中问题 [fix] OpenAIGatewayService.GenerateSessionHash` lacks content-based fallback, causing cache misses for non-Codex clients like Claude Code · Issue #1421 · Wei-Shaw/sub2api · GitHub
token 缓存解释:
Token缓存就是把 AI 已经计算过的固定输入先“存档”并在后续请求里直接复用,优点是响应更快、成本更低、体验更稳定。
7bdc5729660bb06658828adac2d0f807311×218 3.92 KB
有缓存命中大概能降低余额80%的消耗
网友解答:sub2站点后台发现很多佬友token缓存读取有问题,佬友还不知道什么是缓存,导致余额用的飞快,是什么原因呢?有没有佬友知道的 , 一起讨论讨论,目前我只知道其他ide使用gpt 请求接口问题会导致无缓存
--【壹】--:
有几个关键的headers和参数影响缓存
--【贰】--:
佬余额要没了 ,linuxdo-191992@linuxdo-connect.invalid
--【叁】--:
会不会导致上下文消耗更快
--【肆】--:
佬可以看看是不是这个问题,我看issue有一个还没合并的pr跟缓存有关,是说用codex cli以外的客户端可能导致的缓存不命中问题 [fix] OpenAIGatewayService.GenerateSessionHash` lacks content-based fallback, causing cache misses for non-Codex clients like Claude Code · Issue #1421 · Wei-Shaw/sub2api · GitHub

