Skip to content

v0.62.9 — 修复非中文语种误伤

Choose a tag to compare

@HANPU5838 HANPU5838 released this 13 Nov 20:13
· 3 commits to main since this release

0.62.9 — 修复无语义门禁误伤非中文语种(2026-11-14)

  • 回归(0.62.8 引入):0.62.8 用「查询是否有内容词」来短路语义通道,但 tokenize
    只覆盖 ASCII 与中日汉字 —— 韩语/泰语/阿拉伯语/俄语等分词结果是空数组,被判成
    「无实义查询」→ 语义通道被关掉 → 这些语种整类查询永久搜不到。实测韩语
    이 기기의 남은 저장 공간은 얼마나 되나요 在 0.62.8 上返回空(0.62.7 可正常召回)。
  • 修复:新增 isGenericOnlyQuery()。只有「分词非空、且每个 token 都是功能词」的
    查询才短路语义通道;分词为空的语种、单字实义词(如「盘」)一律放行给向量通道。
    中文纯功能词查询(怎么办/为什么/这个怎么弄)行为不变。
  • 新增回归用例 3 例:纯功能词判定(含空分词/单字实义)、韩语查询仍走语义通道、
    中文纯功能词仍被短路。

测试:1119 例 / 1118 pass / 1 skip / 0 fail。