Repository navigation
262K的上下文,为什么每次执行到186K就开始自动压缩了,没有充分利用模型提供的上下文长度呀 #9131
Replies: 3 comments
|
这个不是没充分利用,是两个上限里更紧的那一个在生效——而它恰好和窗口大小无关,所以小窗口吃亏。 186K 是怎么来的
代入你的数:如果是 所以"186K"不是比例,是 为什么小窗口特别吃亏
README 顺带一个核对点:内置 DeepSeek 条目的容量默认是 想用满窗口(第一个抱怨)在
想让它别那么慢(第二个抱怨)这条更值得改,因为默认值在这里相当激进:
一句话186K 这个数本身没错,是你这个窗口下 |
|
没明白为啥要做成这样子,而且发现即使装了billion-context-dsh之后,也会触发自带的压缩,导致插件功能完全失效。莫名其妙的一些设定 |
|
186K 这个数不是拍的,是那个公式里第二项在起作用。
如果只按 为什么留这 65,536:压缩本身就是往上下文里塞东西(摘要 + 保留的最近片段),触发点如果贴着窗口,压缩完可能还是超,下一轮直接 400。所以预留的是"压缩之后还能写回去"的空间,不是浪费。这个数可以改, 至于装了第三方 context 插件还会触发自带压缩:自动压缩是 compaction-basic 在 |
Uh oh!
There was an error while loading. Please reload this page.
262K的上下文,为什么每次执行到186K就开始自动压缩了,没有充分利用模型提供的上下文长度呀 , 而且每次压缩特别浪费时间
上下文长度:262K
All reactions