上下文太大,token消耗增多 #1052
Replies: 8 comments 14 replies
|
新开会话吧,会话约长消耗越多。或者尽量压缩 |
|
同样遇到过长会话 token 爆炸,分享下我的排查思路,希望对你有帮助: 为什么会涨这么快
三个方向(按成本从低到高)
我后来是用第三个方向解决的,实现上给 DSH 接了一个记忆引擎(dsh-sgme):每轮对话零成本落盘(L0,不走 LLM)→ 会话结束时自动提炼去重合并(L1/L1.5/L2)→ 新会话按场景只注入相关的记忆块(纯结构化查询,不烧 token)→ 需要细节时再 memory_search 按需检索。这样长会话可以随时开新档,延续性不丢,token 只花在真正需要的记忆上。 如果你的痛点是「小任务也吃掉 30M」,建议先看一下是不是每次都在带大历史——开新会话 + 按需检索通常能解决大半。 |
|
请教一下 PTC 是什么的缩写,我看到这个模式,没搞懂他是干啥的 |
|
如果这次 70M→100M 的主要增量来自多次 MCP Playwright 调用,可以先把每次 MCP 工具的大结果在进入模型上下文前压缩掉,而不是等整个会话接近上限才 summarize。 现成方案是用 pi2dsh 直接加载 Pi 社区的 dsh plugin --profile web add pi2dsh@0.11.0
dsh plugin --profile web add pi-quiet-tools@0.2.0重启 DSH 即可,不需要生成 bundle 或改源码。默认超过 12,000 字符或 240 行时,只把确定性的头尾预览交给模型,完整结果保存为本地 artifact,需要细节时模型可再读;阈值可用 我专门用官方 这解决的是“大工具结果反复进入上下文”这一部分。 |
|
上下文太大导致 token 暴涨,几个实际有效的降本手段:
成本这块我实测整理过一篇(含 PTC 命中率、工具数量对成本的影响):https://dshbase.com/blog/deepseek-harness-cost/ |
|
token 消耗和成本核算我们第 14 章做了完整专题(缓存命中率实测 97%、命中/未命中成本差异、推理档位联动、dsh-usage 工具推荐):https://github.com/Electricitysheep/dsh-handbook/blob/main/docs/14-cost.md |
|
70M→100M 对一个小任务确实偏大——通常两个原因叠加:1) 会话上下文持续累积(PTC 模式下工具调用会带回完整上下文),2) MCP playwright 等工具的大返回体(截图/页面文本)进上下文。 对策:a) 用第 8 章的 compaction(长会话自动压缩)b) 大任务拆新会话 c) 工具返回体控制。成本核算方法见第 14 章:https://github.com/Electricitysheep/dsh-handbook/blob/main/docs/14-cost.md |
|
已同步:KVCache 严格前缀缓存规则(@weijiafu14 的分析)、封顶 summary 压缩建议(@fnsii)、记忆/压缩生态(dsh-sgme、pi-quiet-tools)已收录进第 14 章缓存机制 + 生态章节:https://github.com/Electricitysheep/dsh-handbook/blob/main/docs/14-cost.md |
Uh oh!
There was an error while loading. Please reload this page.
我一个小项目用deepseek v4 flash token消耗 从0 - 70M 昨天做了好几个小任务, 今天在对应对话, 从70M - 100M 就一个小任务。全程用的是PTC模式,这合理吗。弄得我要开新会话。(也可能是我操作有问题,在过程中我多次调用了MCP playwright,仅作分享,如果能发现问题更好)
All reactions