v0.1.2 - Stable prompt cache across plugin callbacks
修复插件在部分协议下无法保持稳定提示缓存的问题。(issue #3,感谢 @haowang02 提出)
TL;DR : 让 Anthropic Messages 以及 OpenAI-compatible 能正确的缓存了
建议所有使用以上两个协议的用户更新到最新版
此前 codexcomp 接管请求后,会以 codex 入口协议回调 CPA。这个路径下 CPA 不会自动从原始请求恢复稳定的上游 Session_id 和 prompt_cache_key,导致 Anthropic Messages 以及 OpenAI-compatible Chat Completions 经插件接管后,多轮会话里的提示缓存命中明显下降。
OpenAI Responses 路径本身已有自己的 prompt_cache_key 行为,在0.1.1版本中不被影响
本版本会从会话标识生成稳定 prompt_cache_key,并在需要时使用 openai-response 入口协议回调 CPA,让 CPA 正确设置上游 Session_id。
经过测试验证:/v1/messages 8/8 成功、7/8 缓存命中;/v1/chat/completions 8/8 成功、7/8 缓存命中;其中第一轮需创建缓存所以未命中, 由于环境不同, 可能存在其他的情况或场景依旧触发未命中缓存, 敬请发 issue 反馈.
另,近期(26年7月9日左右)上游返回的可见思考片段格式有所变化,可能出现多段英文状态文本并夹带 这类 HTML 注释分隔符。这个变化来自上游输出格式,不是本插件修改 reasoning 内容导致的, 根据测试来看并不影响