Repository navigation
时间注入放在系统层,导致长会话每轮前缀缓存失效 #13451
chaofenggege
started this conversation in
Ideas
Replies: 1 comment
|
我更质疑这个插件的必要性,虽然有时候确实需要提供时间信息,但是多数情况还是不需要的,把这个作为系统级的注入是否合适 |
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
现象
@deepseek-ai/dsh-time-context每轮往上下文里注入三行:这三行位于系统提示块末尾、对话历史之前。
因为它在对话历史之前,每次刷新时间戳都会改变从该位置往后的整个 token 前缀——
按前缀匹配的 prompt cache 从这里开始全部失效,对话历史(长会话中通常占绝大部分)每轮都要重新计算。
影响
usage.cached_tokens占总输入的比例随轮次增长而下降复现
cached_tokens占比逐轮下降time-context在cordis.patch.yml里设为disabled: true后重启,同样对话轮数下
cached_tokens占比明显更高建议
把时间注入从"系统块"挪到"最后一条用户消息的开头":
补充说明
这个位置问题只在长会话里才明显:
所以日常开发、短对话测试时不容易发现;它属于"用久了才浮出来"的那类问题。
All reactions