上下文占满窗口时没有任何明确的用户提醒:不知道「输入上下文已满」,也没有 /compact、/clear 的引导 #2335
Zhangbo-cn
started this conversation in
Ideas
Replies: 4 comments
|
分析很全面,「自动压缩无通知」是三个档位里最该先补的——它已经发生了却完全静默。插件层可以接:只要压缩/停止/上下文满这类事件有公开事件源,OS 级弹窗/提示音就能把人叫回来;我们 dsh-windows-notify 目前接任务完成/待处理事件,也欢迎一起给官方提「事件源公开化」的诉求。仓库:https://github.com/Sutera-Diffusus/dsh-windows-notify |
0 replies
|
为什么无视这个问题 不能支持下过度思考的传参协议吗 |
0 replies
|
我也遇到同样的问题,执行 clear 和 compact 也不行 |
0 replies
|
模型一次性返回内容过多,,,0,调整maxtokens,如果调整过无效;1 如果是思考问题 可以先临时关闭思考 2 如果是返回内容太多 可以先继续 然后停止 再要求模型分批输出 3 临时切换到更大的在线api,通过后,再压缩到符合自己模型的上下文,再切回。。。我理解就是本地模型上下文太短,maxtokens默认设置8K较小,可以设置到32K |
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
场景
长会话进行到后半段,模型回复在末尾被掐断(或请求直接被拒)。页面上只出现一个「已停止」标记,或一条「已达到输出 token 上限 / 发送"继续"」的提示。用户并不知道真正的原因是输入上下文窗口已经占满,也不知道该用
/compact压缩、/clear、或新建会话。发"继续"也解决不了——下一次请求依然超限。现状(三个档位,要么静默、要么引导错误)
CONTEXT_WINDOW_EXCEEDED会被compaction-basic自动捕获并自动压缩会话、重试。好处是不用用户管,但没有一条用户可见的通知说明"刚才发生了一次自动压缩"——transcript 里只有一个CompactionItem标记。finish_reason='length'):UI 渲染 turn-max-tokens 节点——「已达到输出 token 上限」「回答被截断,已有输出保留在对话中。发送"继续"可让模型接着输出。」这条提示只覆盖"输出 token 截断";当真实原因是输入上下文满时,引导是错的(发"继续"无济于事)。message.stopped),无原因、无下一步。参考位置:
packages/llm/llm/src/error.ts(CONTEXT_WINDOW_EXCEEDED_CODE)packages/compaction/compaction-basic/src/index.tspackages/client/ui-conversation/src/client/locales.ts(message.maxTokens/message.maxTokens.hint/message.stopped)建议改进
/compact压缩本会话,或/clear/ 新建会话」,最好带一键触发/compact。为什么值得做
"上下文用尽"是长会话的必然终点,但当前它不可感知:用户看到的是"模型停了/报错了",而不是"我的会话太长了,该压缩/清理了"。把终点变成可操作的提醒,能显著减少"模型是不是坏了"的困惑,也是长会话最基础的自救路径提示。
All reactions