减少token消耗神器实测效果：修复 session-query 中文检索（unicode61 缺陷）+ 记忆优化插件集（Phase 0/1/2，已真机验证）

[QIANLING-0831]

1. 缺陷报告：unicode61 tokenizer 对中文基本不可用

dsh-session-query-sqlite 使用 FTS5 unicode61 tokenizer，对 CJK 文本不切词：连续汉字被索引为单个 token，中文全文检索实际不可用。

实测（node:sqlite + FTS5）：

场景	unicode61（上游）	trigram（本插件）
文档 索引优化减少Token消耗的句子，查询 Token消耗	❌ 0 命中	✅ 命中
查询 "索引优化"（整句短语）	❌ 0 命中（必须完整复现整句）	✅ 命中

2. 插件集介绍（均已开源，dsh-plugin 话题，47 个单测）

仓库：https://github.com/QIANLING-0831/dsh-memory

包	作用	阶段
dsh-session-query-sqlite-cjk	中文可用的会话全文检索 provider：双 tokenizer 双表（保留 unicode61 + 新增 trigram），按查询是否含 CJK 自动路由；fork 自上游（MIT）	Phase 0
dsh-tool-result-dedup	工具结果哈希去重：重复结果（git status / ls / 重复 read）第二次起替换为指针，纯省输入 Token	Phase 0
dsh-memory-index	混合记忆检索服务 ctx.memorySearch：sqlite-vec 向量臂 + FTS5 词法臂 → RRF 融合；事件级增量嵌入；file 词条标签 + 过滤	Phase 1
dsh-memory-tool	模型可调用的 memory_search 工具：会话旧内容混合召回，输出严格有界（limit × maxChars）	Phase 1
dsh-compaction-locator	近无损压缩：继承 BasicCompactionEngine 的 summarize() 钩子，每个 <compacted-summary> 追加 Exact Sources 定位符（spill 路径/文件/seq 区间）	Phase 2
dsh-memory-core	跨会话核心记忆：workspace 事实库 + 稳定 system-prompt section 注入（KV 安全）+ memory_remember 工具	Phase 2
dsh-memory-bundle	元 bundle：一键安装全部插件（dsh.bundle.patch），自动禁用 base 的 session-query/compaction 行	集成

设计文档：docs/MEMORY-OPTIMIZATION-PROPOSAL.md（三层记忆数据库 + 词条索引 + 增量参数）

3. ✅ 真机验证结果（dsh --profile headless，独立测试 profile）

• 整树启动：6 插件 + 禁用 base 冲突行，无启动错误；
• memory_remember 写入：返回「已记住 (uuid)」；
• memory_search 混合召回：中文查询命中 3 条真实会话记录（CJK provider + RRF 生效）；
• 跨会话持久化：新会话系统提示逐字包含：

[zoahdev]

独立实测确认（node v24.19.0 + 内置 node:sqlite FTS5，Windows 11）：

查询	unicode61	trigram
Token消耗	0	1
"索引优化"（短语）	0	1
减少Token	0	1

与你帖子表格完全一致——unicode61 对连续 CJK 不切词导致中文检索基本不可用、trigram 对 ≥3 字符子串命中，两条都复现了。

一个补充边界（README 的已知限制我在实测里也钉住了）：2 字 CJK 查询在两条词法臂上都拿不到结果——

文档含"句子"，查询	unicode61	trigram
句子（恰好 2 字，文档=「句子」）	0	0
句子（文档=「这句话是测试句子」）	0	0
测试句 / 是测试（3 字）	0	1

原因是 trigram 索引至少需要 3 个连续字符（FTS5 固有限制），而 containsCjk() 路由只按"是否含 CJK"切换（lib/index.js:972-973），2 字查询会直接进 trigram 表。README 已正确记录该限制并建议 filterEvents({ text }) 兜底——建议把这个兜底下沉到 provider 内部而不是留给调用方：containsCjk() 里加一道长度判断（去掉空白后 CJK 连续段 <3 字符时自动退化为 filterEvents({ text }) 字面扫描或 unicode61 短语 + LIKE 叠加），这样 memory_search / sessionQuery 的调用方就不需要记住"短查询要绕行"。

另外确认 CJK_CHARACTER_RE（\u3400-\u9FFF\uF900-\uFAFF\u3040-\u30FF\uAC00-\uD7AF）覆盖假名/谚文，trigram 对日韩文同样生效，这部分没问题。整体方案（双表 + 路由 + RRF）方向是对的，值得作为上游 dsh-session-query-sqlite 的 CJK 补丁参考。