Skip to content

steady-RAG

Choose a tag to compare

@AlexBybye AlexBybye released this 28 Aug 17:25
· 61 commits to master since this release

目前三期仓库开发第二代计划全部完成,未来的老学长复习助手迭代会持续在abtest分支进行,验收标准是实测2轮,验证前端真实返回,后端真实链路记录,模型端平台token耗额,实验规范如#55 所示
本期RAG在tokenless基础上,实现了

统一输入 → 自动任务路由 → EventStream Agent Loop
  → 受限单步决策(Action 或 Final)
  → 混合检索 RAG → 服务端工具执行 → Observation/证据回流
  → 引用与安全 Guard → 可终止的最终回答

一期的词法做了一个评测基线,加权换成了BM25F,结果如下:

指标 BM25F Hybrid 提升
recall@5 61.3% 64.6% +3.3pp
recall@20 79.6% 86.4% +6.8pp
MRR 0.430 0.462 +3.2pp

其次embedding考虑到后期服务器部署和资料汉字较多,使用了1.5B的中文友好的ONNX512维模型,本地轻量才是王道,rerank采用规则重排,BM25F为主要证据,毕竟题目题号这种一字之差千差万别,向量检索证据实在有限,在服务器资源受限前提下,使用小模型reranker不如规则重排
等等优化修改不再赘述,详见 https://github.com/AlexBybye/SCUT_CS/blob/master/apps/scut-senior/docs/senior-2/PLAN-2.md

总之最后实测使用非常模糊凌乱或是简要的提示词也可以索引到真实的往年题目/大纲等材料,此智能复习助手已经可以通过个性化知识库,接入各种想要复习的考试了。
image