减少token消耗计划：unicode61 tokenizer 无法检索中文（连整句都搜不到）——附社区修复插件

[QIANLING-0831]

问题
dsh-session-query-sqlite 使用 FTS5 unicode61 tokenizer，对 CJK 文本不切词：连续汉字被索引为单个 token，中文全文检索几乎不可用。

实测（node:sqlite + FTS5）：

文档：索引优化减少Token消耗的句子
查询 Token消耗 → 0 命中
查询 "索引优化"（整句短语）→ 0 命中（必须完整复现整句才可能命中）
社区方案
我做了一个独立插件 dsh-session-query-sqlite-cjk（fork 自上游，MIT）：

双 tokenizer 双表：保留 unicode61（英文/代码行为不变）+ 新增 trigram 表（中文子串召回）
查询按是否含 CJK 字符自动路由，实测 Token消耗 子串命中 ✅
仓库：https://github.com/QIANLING-0831/dsh-memory （另含 dsh-tool-result-dedup 工具结果去重插件）

想请教
官方是否有计划为 session-query 增加 CJK 友好 tokenizer（trigram / 分词）？
若社区方案可行，是否考虑把 trigram 作为可选 tokenizer 合并进上游？

[argszero]

English summary: source-verified at rc.7 (99f6f02) + empirically reproduced with node:sqlite (the same engine the package uses). Confirmed: FTS5 tokenize='unicode61' on both tables (schema.ts:135/166), and the caller query is ALWAYS wrapped as one quoted phrase (quoteFtsData, query.ts:223-225, used at index.ts:840) — so a Chinese substring query can only match if the document contains the exact same Han run. Trigram dual-table + CJK routing is the right shape and empirically fixes the substring case (verified "Token消耗" and "索引优化" → hits). CRITICAL trap: trigram cannot match 1-2 char queries ("消耗"/"索引" → 0 hits) — the routing layer must fall back to LIKE (trigram enables the LIKE optimization, verified) or unicode61 exact-match. Integration details for upstream: new FTS5 table must be added to DERIVED_USER_TABLES (schema.ts:16-25) or existing DBs fail assertDerivedUserTables ("unrecognized user tables"), plus SESSION_QUERY_SQLITE_SCHEMA_VERSION 8→9 reset (schema.ts:66); the routing branch can follow the existing persisted+live UNION ALL pattern (index.ts:795-835); watch trigram's case_sensitive option (default off = matches unicode61's case folding; on changes English behavior).

源码验证（rc.7 99f6f02fec）+ 实测复现（node:sqlite，与包内同一引擎）——你的观察完全正确，且有一个社区插件方案可能踩到的坑值得补上。

1. 机制确认（源码）

• packages/session-query/session-query-sqlite/src/schema.ts:135 与 :166 —— persisted_docs 和 temp.live_docs 两个 FTS5 表都用 tokenize = 'unicode61'。
• src/query.ts:223-225 quoteFtsData() —— 调用方查询被整体包成单个短语（"..."，双引号转义），src/index.ts:840 同时用于两个 MATCH 谓词（:804 / :827）。
• unicode61 对连续汉字不切词：整段汉字 = 一个 token。短语查询只能命中与文档 token 完全一致的汉字串 → 你的两个 0 命中用例在机制上必然如此。

2. 实测数据（node:sqlite，FTS5，同一引擎）

文档 索引优化减少Token消耗的句子：

查询	unicode61（上游现状）	trigram（社区方案）
"Token消耗"	0	✅ 1
"索引优化"	0	✅ 1
完整整句	1（唯一命中方式）	1
"消耗"（2 字）	0	0 ⚠️
"索引"（2 字）	0	0 ⚠️
"优"（1 字）	0	0 ⚠️
LIKE '%消耗%'	1（线性扫描）	1（trigram 启用 LIKE 优化）

结论：双表 + CJK 路由的方向正确，trigram 实测修复了子串召回（含中英混合 "Token消耗"，trigram 对 ASCII 子串同样建索引）。

3. 关键坑：1-2 字中文查询在 trigram 下必然 0 命中

trigram tokenizer 只索引 ≥3 字符的连续子串——"消耗"、"索引"这类二字查询（中文查询的常见形态）在 trigram 表上直接 0 命中，除非你额外处理。三种可行回退：

1. LIKE 回退（推荐）：路由层对 CJK 查询若 <3 字符 → text LIKE '%词%'。实测 trigram 表上 LIKE 命中且走索引优化（trigram 是唯一支持 LIKE 优化的 FTS5 tokenizer）；1-2 字中文是高频查询，这个回退是刚需。
2. unicode61 表精确匹配回退（只对整段一致时命中，与现状相同）。
3. 对 2 字词做 bigram 索引（更复杂，不推荐作为 v1）。

注意路由顺序：contains CJK 判定不能只看"是否含 CJK"，还要看 CJK 子串长度——混合查询 "Token消耗" 的 CJK 部分是 2 字，但整体 ≥3 字符（"ke消" 是合法 trigram），实测 trigram 表直接命中；纯 2 字查询才需要 LIKE 回退。建议路由逻辑：CJK 子串长度 < 3 且查询总长 < 3 → LIKE 回退，否则走 trigram 表。

4. 若合并上游：三个集成细节（社区插件不需要，但上游合并必须）

1. DERIVED_USER_TABLES 白名单（schema.ts:16-25）：新增的 FTS5 表名必须加进这个集合，否则已有数据库在下一次打开时被 assertDerivedUserTables（:87-94）判为 "unrecognized user tables" 直接拒开——这是派生索引的自保护，也意味着新表名要同步。
2. SCHEMA_VERSION 8 → 9（schema.ts:8、:66）：加表/换 tokenizer 是不兼容变更，openSearchDatabase 会就地 reset 重建（:96-101），老库自动迁移。
3. 查询分支可复用现有 persisted+live 的 UNION ALL 模式（index.ts:795-835）：第三个分支（或按查询路由替换 MATCH 表达式）加 trigram 表即可；highlight()/match_count/snippet 路径（:800-833）对 trigram 表同样工作，无额外改动。

另外提醒：trigram 的 case_sensitive 选项默认关闭（与 unicode61 的大小写折叠一致）；若设成 1，英文大小写行为会变——保持默认即可不回归英文/代码检索。

5. 回答你的问题

• 官方计划：无从知晓（本仓库 issues/PRs 通道仍禁用），但从源码看这个缺口是真实的（unicode61 对 CJK 无切词 + 单短语查询 = 中文子串召回必然失败），且修复面相当收敛（一张 trigram 表 + 路由 + 版本号 + 白名单，~50 行内），是社区最值得催的接口补全之一。
• 社区方案能否合并：方向可行，合并前补上 1-2 字回退（LIKE）+ 上述三个集成点即可。你的 fork（双表 + 路由）与上游现有 UNION ALL 结构天然兼容。
• 若你想让方案更有说服力：建议在 README 里加一张和上面类似的对照表（unicode61 vs trigram 对 1/2/3+ 字查询），并注明 LIKE 回退——这正好把"能搜到"的边界讲清楚。

复现脚本（node:sqlite，可直接跑）：CREATE VIRTUAL TABLE t USING fts5(text, tokenize='trigram') 后 SELECT count(*) FROM t WHERE t MATCH '"消耗"' 即得 0；LIKE '%消耗%' 即得 1。