Repository navigation
[Bug] Single large session OOMs at startup: agent-loop re-copies the whole event array even when closers is empty #10823
Replies: 1 comment
|
补充:Windows / 0.1.2-rc.1 跨版本复现 + 完整 heap 曲线(102 采样点) 环境:Windows,dsh 0.1.2-rc.1,单会话 2,820,000 事件(zstd 35.2MB / 解压 175.7MB),32GB 物理内存。用 30 秒间隔的进程级 watcher(rss / heapUsed / external)记录了完整死亡过程:
跨版本证据:我们在 0.1.2-rc.1(早于 0.2.1-rc.2 两个版本)以完全相同的死亡模式复现,说明这是架构固有行为,不是 0.2.1 回归。 对 0.2.1-rc.2 逐包静态分析,佐证「换持久化后端解决不了」的判断:read(offset, length) 底层 readStoredLog 仍是整份读入+全量解析后 slice(不是磁盘级窗口);恢复路径就是 handle.read(0, void 0)(agent-loop lib/index.js:1989);coldLogMemo LRU 上限 2;changelog 无任何内存相关条目。controller 的冷历史分页只覆盖「浏览历史」路径,不覆盖恢复。 另一进程的 CPU 采样热点集中在 deepFreeze / createShadow / getOwnPropertyDescriptor——恢复慢的主因之一是逐对象冻结。 支持 LZ 建议的修复 1(closers 为空时不复制)。中期方向建议与 #10182 / #6889 / #8639 统一考虑冷热分层:最近 N 事件热驻留 + 更老事件磁盘索引化 + 惰性 eventAt。临时止血:--max-old-space-size=8192(V8 官方参数)在 32GB 机器上对该规模会话有效。 |
Uh oh!
There was an error while loading. Please reload this page.
摘要
单个会话的日志变得足够大之后,冷启动就会撞 V8 堆上限并 FATAL 崩溃,而崩溃点不在"读文件"那一步,而在把已经读进来的事件数组再复制一份那一步。
我们这边实测:一个会话
session.v4.jsonl.zstd100 MB(zstd)→ 解压 341 MB,启动后 43 秒堆涨到 2045 MB 撞顶(默认 ~2 GB),栈是node::worker::Message::Serialize。环境
根因(定位到具体代码行)
@deepseek-ai/dsh-agent-loop/lib/index.js(0.2.1-rc.2):closers只有在"上次崩在回合中间"时才非空;平时它是空数组,但这一行照样把persisted整个展开复制一份。于是同一个事件数组在峰值时存在两份(再叠加 worker 侧structuredClone的传输副本)。我们的实测对得上这个判断:
为什么换持久化后端解决不了
恢复路径调用的是
read(0, void 0)(从头读到尾、不限长度)。任何 persistence 实现都必须把全部事件交出来,所以:SessionPreparation.create吃的就是seed: events[],没有这个接缝(
read(offset, length)的窗口读接口是有的,但只有 log-export / session-query 在用。)建议(按代价从低到高)
closers为空时不复制:seed: closers.length ? [...persisted, ...closers] : persisted语义等价(空数组展开等于不展开),峰值直接腰斩,改动面一个表达式。
一个愿望:希望支持切换会话持久化后端
我们在另一套自建 agent(Hermes)上用 SQLite 存会话,它的好处是行可寻址 +
active=0标记,可以让"历史查询"和"恢复上下文"走不同的读取路径。DSH 现在只有
dsh-session-persistence-jsonl一个实现(接口dsh-session-persistence是抽象的、干净、其它包都依赖接口而不是实现)。所以从架构上换实现是可行的,但如上节所述:只要agent-loop的恢复路径固定为read(0, void 0),换后端也治不了内存问题。因此这个愿望更准确地说是两条:
如果 ② 成立,后端换成 sqlite/mysql 才有意义 —— 否则换的只是"怎么读",读的量一点没少。
All reactions