Skip to content

v1.3.0

Latest

Choose a tag to compare

@shenmin shenmin released this 18 Jul 15:12

Cassotis IME v1.3.0

主要更新

  • 新增项目首个可部署的长句神经残差重排器,在现有统计语言模型完成候选召回和初排后,进一步判断完整长句候选是否需要纠正。
  • 改进长句中的同音字候选保留与上下文选择,减少更合理的完整句子被局部高频词压住的情况。
  • 神经重排采用保守策略:只有模型判断优势达到安全阈值时才调整首选,原始引擎结果仍作为回退候选保留。
  • 新增长句重排数据构建、离线训练、评测和原生模型导出工具,并增加模型导出一致性与短词模式隔离测试。
  • 新增独立的“快捷键”设置页,可修改中英文、中文/英文标点、简繁体、全半角切换以及打开设置窗口的快捷键。
  • 设置中“恢复默认”现在只重置当前设置页,避免误改其他配置。
  • 调整设置页布局与交互细节,使外观、快捷键和日志配置更清晰。

本地 AI 长句重排

v1.3.0 在已有的本地统计语言模型之上,增加了一层轻量神经残差重排:

  1. 词库约束的 lattice、beam 和 N-best 搜索继续负责生成并保留完整长句候选。
  2. 字符语言模型、词路径分数和引擎基础排序完成第一阶段评分。
  3. 一个紧凑的前馈神经网络对完整长句候选进行第二阶段判别,只在置信度足够时纠正首选。

神经模型使用受词库约束的 N-best 候选对比数据离线训练,部署时导出为确定性的原生 Pascal 参数。用户输入长句时,引擎会直接执行这组轻量网络计算;它不会启动 PyTorch、ONNX 或外部模型服务,不需要联网或 GPU。

该重排器只参与长句完整候选排序,不介入单字和短词精确匹配。原有统计模型与神经重排器均在本地运行,训练语料原文不会随模型发布;“长句基准测试-16300”语料也不参与训练。

快捷键设置

设置窗口新增“快捷键”页,可分别修改:

  • 中英文输入状态切换;
  • 中文/英文标点切换;
  • 简体/繁体切换;
  • 全角/半角切换;
  • 打开设置窗口。

设置界面会检测缺少主按键、普通按键未搭配修饰键以及快捷键冲突,并给出具体原因。旧配置会自动补齐为默认快捷键。

Cassotis 长句语料基准测试-16300 测试结果

测试方法、语料来源和评分规则见:

语料:开发者自己的小说著作 《永恒的舞动》 中 16,300 条符合条件的中文句子。

Version Top1 Top2 Mean (ms) P95 (ms) Max (ms)
v1.3.0 7155/16300 (43.90%) 7601/16300 (46.63%) 64.54 203 2188
v1.2.0 6895/16300 (42.30%) 7303/16300 (44.80%) 59.89 188 2078
v1.1.0 6677/16300 (40.96%) 7067/16300 (43.36%) 73.18 234 2750
v1.0.0 6106/16300 (37.46%) 6857/16300 (42.07%) 71.49 219 5344
v0.8.5 6097/16300 (37.40%) 6847/16300 (42.01%) 520.05 1203 13297
v0.7.0 5368/16300 (32.93%) 6110/16300 (37.48%) - - -
v0.6.0 4905/16300 (30.09%) 5378/16300 (32.99%) - - -
v0.5.0 4834/16300 (29.66%) 5243/16300 (32.17%) - - -
v0.4.1 4371/16300 (26.82%) 4744/16300 (29.10%) - - -
v0.3.1 3845/16300 (23.59%) 4651/16300 (28.53%) - - -
v0.2.0 2671/16300 (16.39%) 2863/16300 (17.56%) - - -

相较 v1.2.0:

  • Top1 增加 260 条,通过率提高 1.60 个百分点。
  • Top2 增加 298 条,通过率提高 1.83 个百分点。
  • 引入第二阶段神经重排后,整句直设解码仍保持低延迟:Mean 64.54 ms,P95 203 ms。

延迟指标说明

  • 延迟数据衡量的是输入法引擎的整句直设解码性能:将完整拼音一次性设置到引擎中,从设置拼音前开始计时,到候选列表读取完成后停止。
  • 该数据不包含进程启动、词库打开、TSF 集成、候选窗口渲染、真实按键及按键间隔,也不等同于逐键输入到候选窗口显示的端到端延迟。
  • Mean 为全部句子的算术平均耗时,P95 表示 95% 的句子在该时间以内完成,Max 为单句最大耗时。基准测试保持测试机器、系统环境、电源模式、构建设置和词库版本一致。以上数据不等同于逐键输入到候选窗口显示的端到端延迟。

相关说明

开源