Compaction fails on large sessions (TRANSPORT) - agent-driven summarization as a working fix

[jonah791]

摘要

官方压缩后端（@deepseek-ai/dsh-compaction-basic）在会话膨胀到一定程度后会必然失败。根因：buildSummarizationInput 把完整 surface 无截断地重放进一个新 LLM 请求——在约 46 万 token 输入时，该请求死在传输层。我构建了一个可用的替代方案：agent 自总结——让 agent 总结自己的对话（命中 KV 缓存、没有巨型重放请求），并在同一个曾连续失败 5 次的真实会话上验证成功。

Bug 详情

• compaction/end 反复报错：error: "DeepSeek API request to https://api.deepseek.com failed"（TRANSPORT）
• 失败会话规模：664 个 surface 节点 / 约 46 万 token 输入
• 连续 5 次 /compact 失败；每次重试都重新构造同一个无上限的重放请求
• 官方路径在会话小时能成功，随会话增长退化为必然失败——而膨胀恰恰是最需要压缩的时刻

可用修复：让 agent 总结自己的上下文

插件：dsh-agent-compact（已挂 dsh-plugin topic）

1. compaction/start —— 与官方相同的事务封装
2. 向 agent 收件箱注入总结指令（next-turn 投递）
3. agent 基于当前上下文直接写出 checkpoint——提供方的 KV cache 早已缓存这些内容
4. 捕获并校验摘要（非空、比原文小）
5. compaction/summary → surface replace → compaction/end → flush —— 与官方事务格式字节级兼容

在之前失败的会话上实测：

指标	数值
inputTokens	865
cacheReadTokens	568,832（KV 缓存命中）
outputTokens	1,933
结果	Compacted 664 history items (~460634 tokens)
compaction/end	无 error

给上游的建议

1. 短期：buildSummarizationInput 应截断或流式化，而不是构造无上限的重放（TRANSPORT 失败的根因）
2. 中期：把压缩总结器做成可插拔 provider，使 agent 驱动总结可从 agent 预设中选择——本包即参考实现
3. 说明：预设文件从宿主进程解析包名，第三方压缩引擎无法仅凭预设行接入（MODULE_NOT_FOUND）；profile 级解析回退可以打通独立插件路径

---

English summary

The official compaction backend fails deterministically on large sessions: buildSummarizationInput replays the full surface into one fresh LLM request with no truncation, and at ~460k tokens that request dies at the transport layer. Working fix: agent-driven summarization — the agent summarizes its own conversation (KV-cache friendly, no giant replay), verified in production on the exact session that had failed 5 times (Compacted 664 history items (~460634 tokens), compaction/end without error). Plugin: https://github.com/jonah791/dsh-agent-compact