Repository navigation
v0.62.9 — 修复非中文语种误伤
0.62.9 — 修复无语义门禁误伤非中文语种(2026-11-14)
- 回归(0.62.8 引入):0.62.8 用「查询是否有内容词」来短路语义通道,但
tokenize
只覆盖 ASCII 与中日汉字 —— 韩语/泰语/阿拉伯语/俄语等分词结果是空数组,被判成
「无实义查询」→ 语义通道被关掉 → 这些语种整类查询永久搜不到。实测韩语
이 기기의 남은 저장 공간은 얼마나 되나요在 0.62.8 上返回空(0.62.7 可正常召回)。 - 修复:新增
isGenericOnlyQuery()。只有「分词非空、且每个 token 都是功能词」的
查询才短路语义通道;分词为空的语种、单字实义词(如「盘」)一律放行给向量通道。
中文纯功能词查询(怎么办/为什么/这个怎么弄)行为不变。 - 新增回归用例 3 例:纯功能词判定(含空分词/单字实义)、韩语查询仍走语义通道、
中文纯功能词仍被短路。
测试:1119 例 / 1118 pass / 1 skip / 0 fail。