解决claude code调用gpt接口不命中缓存问题

问题描述：

把 /v1/messages 请求转换成 /v1/responses 请求时，除了转换：

• model
• system
• messages
• tools

这些结构字段外，还应该处理好缓存相关参数。

其中一个关键点是：

prompt_cache_key 要写到 /v1/responses 的请求体顶层

最终生成的 /v1/responses 请求体应该是这种形式：

{
“model”: “gpt-5.4”,
“input”: […],
“stream”: true,
“prompt_cache_key”: “xxx”
}

这里的 prompt_cache_key 是 请求体参数，需要显式写进去。

———

这个值怎么得到

转换 /v1/messages 时，可以按这个顺序生成 prompt_cache_key：

1. 先取现成的会话标识

优先从请求头读取：

• session_id
• conversation_id

如果有值，就可以直接作为缓存标识来源。

———

2. 如果没有，再从 metadata.user_id 里提取

有些 /v1/messages 请求会在 body 里带：

{
“metadata”: {
“user_id”: “…”
}
}

这里的 metadata.user_id 通常包含稳定的会话信息，可以从中解析出 session 相关值。

———

3. 如果需要，可以基于这些值生成稳定的 key

例如基于：

• model + metadata.user_id

生成一个稳定 UUID 或 hash，把它作为 prompt_cache_key。

核心要求只有一个：

同一个会话下生成的值要稳定。

———

正确的转换顺序

转换逻辑可以概括为三步：

第一步：提取或生成缓存标识

从这些位置获取：

• session_id
• conversation_id
• metadata.user_id

得到一个稳定的 promptCacheKey

第二步：完成结构转换

把 /v1/messages 转成 /v1/responses，包括：

• system → input
• messages → input
• tools 映射
• 其他参数映射

第三步：把 promptCacheKey 写回请求体

把前面得到的值放到最终 JSON 顶层：

• prompt_cache_key

———

为什么这一步重要

很多实现里，缓存标识虽然已经在内部算出来了，但如果最终生成的 /v1/responses 请求体里没有：

• prompt_cache_key

那么缓存相关语义就没有完整保留下来。

结果通常是：

• 请求能正常执行
• 返回结果也正常
• 但缓存命中效果不稳定

———

一句话总结

/v1/messages 转 /v1/responses 时，除了结构字段转换，还应该：

1. 从 session_id / conversation_id / metadata.user_id 中提取或派生稳定会话标识
2. 把这个值写到 /v1/responses 请求体顶层的 prompt_cache_key

这样转换逻辑才是完整的。

网友解答：

---

--【壹】--：

把 /v1/messages 请求转换成 /v1/responses 请求时，除了转换：

• model
• system
• messages
• tools

这些结构字段外，还应该处理好缓存相关参数。

其中一个关键点是：

prompt_cache_key 要写到 /v1/responses 的请求体顶层

最终生成的 /v1/responses 请求体应该是这种形式：

{
“model”: “gpt-5.4”,
“input”: […],
“stream”: true,
“prompt_cache_key”: “xxx”
}

这里的 prompt_cache_key 是 请求体参数，需要显式写进去。

———

这个值怎么得到

转换 /v1/messages 时，可以按这个顺序生成 prompt_cache_key：

1. 先取现成的会话标识

优先从请求头读取：

• session_id
• conversation_id

如果有值，就可以直接作为缓存标识来源。

———

2. 如果没有，再从 metadata.user_id 里提取

有些 /v1/messages 请求会在 body 里带：

{
“metadata”: {
“user_id”: “…”
}
}

这里的 metadata.user_id 通常包含稳定的会话信息，可以从中解析出 session 相关值。

———

3. 如果需要，可以基于这些值生成稳定的 key

例如基于：

• model + metadata.user_id

生成一个稳定 UUID 或 hash，把它作为 prompt_cache_key。

核心要求只有一个：

同一个会话下生成的值要稳定。

———

正确的转换顺序

转换逻辑可以概括为三步：

第一步：提取或生成缓存标识

从这些位置获取：

• session_id
• conversation_id
• metadata.user_id

得到一个稳定的 promptCacheKey

第二步：完成结构转换

把 /v1/messages 转成 /v1/responses，包括：

• system → input
• messages → input
• tools 映射
• 其他参数映射

第三步：把 promptCacheKey 写回请求体

把前面得到的值放到最终 JSON 顶层：

• prompt_cache_key

———

为什么这一步重要

很多实现里，缓存标识虽然已经在内部算出来了，但如果最终生成的 /v1/responses 请求体里没有：

• prompt_cache_key

那么缓存相关语义就没有完整保留下来。

结果通常是：

• 请求能正常执行
• 返回结果也正常
• 但缓存命中效果不稳定

———

一句话总结

/v1/messages 转 /v1/responses 时，除了结构字段转换，还应该：

1. 从 session_id / conversation_id / metadata.user_id 中提取或派生稳定会话标识
2. 把这个值写到 /v1/responses 请求体顶层的 prompt_cache_key

这样转换逻辑才是完整的。