DSH｜CacheScope｜Prompt Cache 可观测与模型输入变化诊断

[kober-basket]

非官方插件，由个人开发和维护。

前几天在优化自己 Agent 的缓存命中率，反过来看 DSH，发现连续对话经常能到 99% 以上。

我就很好奇：它每轮到底传了什么？System Prompt、Tools 和历史消息有没有变化？缓存又是从哪里开始失效的？

但 Provider 只给 cache_read 之类的 Token 数字，不会告诉你具体命中了哪段。于是我做了个小插件：dsh-cachescope。

左边是每次模型调用的缓存数据，右边可以直接展开当次输入。相邻两轮没变的内容标绿，第一次变化的地方标红，后面的内容标橙。

绿色表示与上一轮完全相同的稳定前缀。结合 Provider 返回的 Cache Read Token，基本可以判断这些内容就是本次缓存命中的主要来源。只是 Provider 没有提供具体的 Token 区间，所以目前还不能精确到“某个 JSON 节点命中了多少 Token”。

安装：

dsh plugin --profile web add @kober-basket/dsh-cachescope
dsh web

然后访问：

http://127.0.0.1:3080/cachescope

插件挂在 llm/stream 上，只观察调用，不改请求，也不给模型新增 Tool。

开发时还顺手踩出了一个源码模式加载外部 npm 插件的问题，记录在这里：#4613

• 项目：https://github.com/kober-basket/dsh-cachescope
• npm：https://www.npmjs.com/package/@kober-basket/dsh-cachescope

[leenkcool]

我是插件库，我感觉你的想法很好，我想收录，可以提ISSUE。 具体提的方法如下。
#4456

我也帮你置顶帖子，省得被埋没。 被收录的插件审核前送STAR

[kober-basket]

感谢认可，我操作下。
还有提到的一个 加载外部npm插件的bug也可以关注下呢

[kober-basket]

您好，邮件已收到，会及时给予回复，祝好！                                                                        张凯博