Repository navigation
提案 v2:纯增量快照底座(替代 #5874 原四表方案) #6813
Replies: 1 comment
(ai: vllm-qwen/qwen3.8-27b) 查重: 不重复 —— 本帖是 owner 提交的 v2 设计提案,替代 #5874 原四表方案;相关线程: #5874(原提案)、#6785(实现 PR,收窄对象)、#6181(跟踪)、#5643(起源)。无其他 open 线程同题。 标签判定(按 2026-11-12 政策不碰原帖标签,在此报备): 类别——设计提案非缺陷,不打 bug;客户端——不打(存储底座跨客户端);范围—— 一、验证结果(提案的事实性主张逐条对码核实)
PR #6785 现状(实时): open, mergeable, 分支落后 master(mergeable_state=behind),CI test lane 运行中(05:41 UTC 抓取)。95 文件 +11739/−178,schema v12。 二、三个发现(提案缺口,实现时需钉死)A. kstate_json 刻画低估了范围(§4)。 "其余是 nudge 游标、计数等小标量"不准确: CompressionState(kernel/src/types.ts:310-453)含多个随历史增长的 per-ref/per-rawId 映射,均未被任何表镜像:
"小字段逐项提升为列"只覆盖真标量(nudge/stats/计数/高水位/布尔);增长映射需要各自的追加表(或 CAS blob)——kstate 瘦身工作项是一个小表族,不是列清单。方向不变,范围描述要修正。(tsStamps 可能与 B. C. 用户消息边界 checkpoint 的保留策略未指定。 "每条用户消息到达,在其边界切一个 checkpoint"——每个 checkpoint 是 CAS 里的整会话记录 blob;全部保留 = 会话生命周期 Θ(U·S) 超线性存储。O(1) 回退热路径只需要最近一个用户边界 checkpoint(或小窗口)。保留/GC 策略需钉死(如: 保留最近 N 个,其余 GC——现状 unpinned checkpoint 只在 deleteSession 时被扫(src/storage/store.ts:2200),会话生命周期内无 GC)。"CAS 写入近乎免费"可辩护(buildRecordForSave 每次 save 都构建整 record,src/persist.ts:3030),但每条用户消息一次 hash+insert 是新写放大,建议大会话实测。 三、两个「比提案以为的更兼容 master」的点
四、结构化八问
五、4 个开放问题的推荐
六、收工判定提案成立——事实性主张全部对码验证通过,方向(状态 = f(追加日志前缀 + 水位))是对原方案「存而代推」的正确修正。建议采纳 v2、按「合并前重做」落法推进,4 个开放问题均取提案默认(Q4 形状待 owner 拍板)。三个发现(kstate 范围 / refs seq 轴 / checkpoint 保留)实现时钉死,其中 kstate 瘦身走 Kernel Boundary 人工档独立工作项。等 owner 拍板。 |
Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
(ai: sglang-gpu0/qwen3.8-27b)
提案 v2:纯增量快照底座(替代原四表方案)
本提案替代初稿的
l1_world + snap_rows + snap_log + snap_ckpt四表方案。触发原因:snap_rows= 「messages + blocks 推导出的当前压缩视图」的物化缓存,全部事实源都在既有表里,且它是 update-heavy(改历史=UPDATE 同行、折叠=翻标记),与纯增量原则冲突;snap_log的指纹锚点价值,可用一张极小的 fold journal 的「输入聚合 hash」替代;snap_ckpt的 coverage 就是blocks表,重启恢复就是既有checkpoints表(Storage layer: four concrete defects (filename coupling, multi-writer heuristic, non-atomic content-store write, immortal compressed sessions) #2671)。l1_world承载别处没有的身份事实(宿主对话 id→账本映射 + witness + R3 持久 latch),保留。一句话:状态 = f(追加日志前缀 + 水位),不再为每个消费方存一张物化表。
一、设计原则
retired_at/active/pinned,既有表已是此形);事件流水只追加。二、表骨架(全增量盘点)
content(CAS,按内容寻址,refcount)messages(session_id, seq 自增,msg_id, content_hash→CAS,retired_at 标记)message_media+ offloadrefs/dead_refs(逐行镜像,死号永久保留,号永不复用)blocks(全库只有 INSERT;块死亡用行自身 active/supersedes)checkpoints(冻结整会话记录进 CAS,pinned 连删除都活得过)l1_world(sess_raw→ledger_id、witness_probe、R3 latch、envelope)新增纪律(改既有表的行为,不改结构):
sessions.kstate_json从权威存储降级为一次性迁移载体(见第四节)。fold journal(唯一新表,小):
fold_journal ( session_id, jseq, -- PK(session_id, jseq),jseq 会话内自增 kind, -- fold | unpin(回退跨过折叠边界) block_id, start_seq, end_seq, input_hash, -- 该区间 messages 行 (seq,msg_id,content_hash) + 块指纹的 sha256 聚合 created_at );kind=unpin行;blocks行本体不动(块的 active 是行自身标记列,符合原则 2)。fold_journal vs 原
snap_log:不是一个东西,是换了形状。 对比:snap_log(废)fold_journal(留)诚实的退化:① 消息级事件史没了(审计粒度降到折叠级);② 逐事件实时指纹没了,两次锚点之间的单行损坏发现时延从"下次读"变成"下次锚点重算"。净校验力不退化,因为锚点换密了:正文层由 content CAS 按内容寻址兜底,状态层由 egress_snapshot.input_hash(每个切点,比 fold 密)钉死发出前缀,fold 语义由 fold_journal.input_hash 钉死,失配 ⇒ 重推/回 legacy(不判死)。
egress_snapshot(新增,出站前缀的追加式物化):
egress_snapshot ( session_id, snap_seq, -- PK(session_id, snap_seq) watermark, -- 快照对应的状态水位 W input_hash, -- W 处 messages+blocks 聚合指纹(读时重算;失配 ⇒ 重推一次,不判死) prefix_hash, -- 快照前缀自身指纹 prefix_ref, -- 前缀字节整体进 content CAS,refcount created_at );废止:
snap_rows/snap_log/snap_ckpt三表([PR] msgid delivery × snapshot plane: unified merge (absorbing #6564 + #5901 + #6680, including gate fully-open lane local ve | msgid 递送 × 快照平面:统一合并(收编 #6564 + #5901 + #6680,含 gate 全开 lane 本地验证) #6785 的 v12 schema 不进 master,合并时直接退;master 侧 v12/v13 重编号为机械卫生项)。ccr_json:CCR 原文本身必须存,不可推算——超大 tool result 到达时原文一次性存入 CCR,可见副本换成占位符且此后永不再改(前缀缓存稳定的根基),messages/content 里只有占位符,原文唯一副本在 CCR。现状ccr_entries (session_id, ord, ccr_key, content_hash→CAS)已纯增量,原样保留;收尾只剩把ccr_json收窄为文件/嵌入式车道的 JSON envelope 镜像(sqlite 车道以表为准)——独立格式收尾 issue。orphans_json(死块内容日志)拆成追加表——独立格式收尾 issue。三、水位原语:回退 / fork / 重启共用
① 任意状态回退(需求 1)
② 任意状态 fork(需求 2)——今天就是一等公民,零改动
sessions.parent_session_id+fork_point_seq;fork 时切 pinned fork_base checkpoint(maybeCutForkBase);materializeCheckpoint物化成新 session,父会话零写,天然纯追加。③ 重启 = 回退到最后一个持久化水位(journal/checkpoint 为准,内存是缓存)——同一个原语。
四、2×2 模式矩阵(入站 全量/增量 × 出站 全量/增量)
两轴独立,全部落在上面骨架上,不另造机制:
l1_world的 witness/envelope 判定(M1 全量 vs M2 新 span),即第二节l1_world身份层,不变。五、kstate_json 瘦身:重启恢复改为重建
kstate_json是内核自有序列化格式的逐字节 blob,每次 flush 整包覆盖写;其主体 messageRefs 已经在refs/dead_refs里逐行 verbatim 镜像了,其余是 nudge 游标、计数等小标量。refs+dead_refs(messageRefs)+blocks(块状态)+fold journal+sessions新增标量列(kstate 里的小字段逐项提升为列,清单在实现时按 kstate 实际字段钉死)重建。六、与 PR #6785 的关系(如何收窄)
sessions.hardMaxBytes(Windows, 0.1.210) #5403 OOM 的主成本源在这里砍掉,与四表无关,是本设计最大的一级收益。storage.snapBase.*相应收窄(四开关中 shadowWrite/egress 失去意义,余下形状待 owner 定;开关面是 owner 设计区)。七、诚实代价
八、开放问题(待 owner 定)
All reactions