Repository navigation
出站状态表提案:操作日志 + 重放 + 压实(替代每轮全量重算出站视图) #7398
Replies: 1 comment
[bot] 🏷 查重: 不重复。检索 open+closed 的 issue/PR,无同主题条目。最接近的是 #3756(D 车道 snapshot-render,服务端渲染出站前缀)与 #5403/#5418(全量重发水位快路径,跳过入站重解析)——但那是"每轮从 transcript 重算 / 跳过入站",本提案是"用操作日志承载出站视图状态",是它们的上层演进,机制不同,不重复。 标签: 判定为 审核(对照代码)结论先行:核心设计(事件日志 + 压实 + 确定性重放 + 锚 id + 损坏硬降级)成立,和你已对齐的部分一致,也和仓库既有哲学(degrade-never-guess)对得上。下面是对照代码验证过的部分,加几个形式化时建议补全的缺口。 验证成立
建议补进提案的缺口A. 视图变化面比 §一 的 4 种情形大,要确认 op 类型是完整基。对照代码,实际变化面还包括:
建议:明确"4 种是常见情形,其余用 base/+I/-D/+U 表达",并点名需要的扩展(单端点后缀删、合成行删、跨会话 base)。 B. 插入 op 实际两种形状,写明避免误用。messages 表 append-only(seq 单调,"UPDATE is a bug"),所以消息插入永远是尾部追加(O(1),不扰 ref)。唯一非尾部插入是折叠块(锚 covered 段后的消息 id,插中间)。 C. 与 snapshot-render(KDD #13)/ watermark(KDD #15)的层次要写明。现状:snapshot-render 每轮从 transcript 重算出站视图(O(full));watermark 跳过入站对不变前缀的重解析(入站侧 O(tail))。本表让出站组装也 O(tail)。最干净的层次:本表 = 快路径(稳态 O(tail));snapshot-render 的 transcript 重算 = 重建/降级路径(损坏/缺失时 O(full))。写明 snapshot-render 降级为"重建 base 的来源",不是与本表并行的两套竞争机制。另:现有 schema 里没有字面的"物化表"(出站视图目前是 snapshot-render 每轮现算、不持久化),所以"承担物化表出站视图"实际 = 把现算视图变成持久化事件日志——建议把这句术语对照写清。 D. ledger 与 facts(messages+blocks)的一致性。ledger 是 facts 的派生投影。每次 fact 变化(消息插入/折叠/编辑)都要在 ledger 记对应 op;若 ledger 写与 fact 写不在同一事务,crash 在两者之间 → ledger 过期。写明:ledger op 与对应 messages/blocks 写同事务原子。另澄清 ledger "永不删" 边界:会话存活期内不删(供回退),但随 deleteSession 清扫——与 messages 表同生命周期,非跨会话永久。 E. 降级路径必须重建 base,否则每轮 O(full) 永不出头。§三说损坏→走全量路径。但全量路径(snapshot-render 重算)若只服务当轮、不写回新 base,下一轮本表仍坏,每轮 O(full),defeat 整个优化。写明:降级路径不只服务当轮,还要用 transcript 重算结果写回新 base,让下一轮恢复 O(tail)。 F. "任意时刻回退"是写操作。§二"从流水表重放…落成新的 base"——"落成新 base" 改状态表,是状态变更,不是纯读。写明:回退写状态表。 G. 性能验收两个 case 分开写。开头"10 万条 5.5s/轮" 与 验收"现状 19-60ms" 是两个 case:5.5s = 10 万条(极端,全量重算);19-60ms = 10 万-30 万 token(真实压缩形态,已达标)。本表针对 10 万条 case(5.5s→O(tail));19-60ms 只是基线。分开写,避免读者当同一个数。 给 owner 的问题
|
Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
出站状态表提案:操作日志 + 重放 + 压实(替代每轮全量重算出站视图)
背景:#6785 的大会话性能工作。10 万条消息的单会话里,每轮请求都要把全部消息重新打标签(ACP tag)、转换、渲染、序列化(实测内核渲染通道 10 万条 ≈ 5.5s/轮),而这一轮真正变动的往往只有尾部新增的一两条、偶尔一次编辑、折叠后消失的一段 + 一个折叠块。视图变化是稀疏的,全量重算是浪费。本提案用一张按日志序号全序的操作日志表承载出站视图状态:重放即得当前视图。设计已与 owner 对齐(2026-11-20 PR #6785 线程),此处是完整形式化,欢迎讨论。
一、视图会怎么变(op 的来源,四种情形)
+I操作;-D操作 + 折叠块插入 = 一条+I操作。原始文本行永不改写,折叠块只进内核状态(跳过对原始文本的折叠,只应用新折叠)。编辑 = 同一消息 id、内容变化的重发(身份纪律:内容可变、消息 id 不变)→ 一条
+U操作,只更新该消息内容,位置/编号/上下游全部不动。二、表结构(双表,SQLite,统一存储同库)
主键:(session_id, log_seq)。log_seq 由写入方单调分配,就是全序。消息 id 不进主键(一条删除操作跨很多消息 id,一个消息 id 可能先 +I 后 -D)。
状态表
egress_state(服务读这份;压实会物理删水位以下的行,行数有界):流水表
egress_flow(append-only,永不删;回退用):与状态表同构(同列同主键),每个操作两份各落一行:为什么双表:压实为了性能会物理删掉水位以下的中间操作,那些历史时刻的状态从此不可重建。流水表补回这个能力:想回到任意历史时刻,从流水表重放到那个 log_seq,落成新 base。
三、row type 四种形态(payload 定义)
视图行的完整形态:
(msgid, ref, tokens, type, content_hash)。出站标签<acp tokens="N" type="T">mNNNNN</acp>三要素 = (ref, tokens, type),在消息内容不变时永久不变(编号永不复用;tokens 按内容确定性计算);内容本体走既有内容存储(内容 CAS),表里只存哈希指针——表里没有内容字节,不产生重复。Bbase{"entries":[视图行...], "watermark":log_seq}+I插入{"after": 锚点msgid或null, "ref":…, "tokens":…, "type":…, "content_hash":…}-D删除{"start": 起点msgid, "end": 终点msgid}+U更新{"content_hash":…}四、重放算法(确定性)
B行,视图 = B.entries,游标 = B.watermark;否则视图 = 空、游标 = 0。+I:msgid 已存在 = 硬错误;after=null → 追加到尾部;after 不在视图里 = 硬错误;否则插到锚点之后;-D:start/end 任一不在视图里 = 硬错误;start 在 end 之后 = 硬错误;否则删闭区间;+U:msgid 不在视图里 = 硬错误;否则替换该行的 content_hash(其余字段不动)。硬错误处理:锚点缺失 / 端点缺失 / 更新打空 / 编号重复,任一发生 ⇒ 整会话判损坏 ⇒ 降级走原有全量路径(与现有"任何疑点整轮回退"纪律同构),不做模糊猜测。
示例(视图初始为空):
五、压实(解决性能问题)
B行(log_seq = 水位)→ 物理删除状态表中 log_seq < 水位的所有行。被删的 -D 与它抵消掉的 +I 就此一起消失——不是逐行配对,而是重放之后它们本来就不在结果里。一条规则,没有配对逻辑。六、回退(基于本表,不是客户端原始文本)
选任意 log_seq X:
B行;没有则从空视图起步;七、出站推导(读取路径)
稳态每轮:重放状态表(base + 少量增量操作)→ 每条消息的标签直接拼接(
<acp tokens type>ref</acp>,零扫描零正则零 token 重算)→ 内容按 content_hash 取字节 → 拼出站。每轮真正做计算的只有新增和编辑过的几行;折叠轮多做一次"重放 + 写 base"。八、这张表替代什么
新的独立状态表(事件日志形态),不是拿现有表拼的:同时承担 sessions 表"当前会话状态"、物化表"出站视图"、kstate"内核状态游标"(kstate 只是 session 的状态拆分)的角色,并提供现有表都不有的任意时刻回退。messages 表是消息 id 的事实源,不是流水表,定位不变;fold_journal 与内容存储的既有定位不变。
九、施工与验证
All reactions