Skip to content

v1.2.0 — RAG quality evaluation and grounded citations

Latest

Choose a tag to compare

@JSJCY JSJCY released this 20 Oct 05:06
· 1 commit to main since this release

新增可复现的 RAG 评测与证据校验,并保留逐步实现的 Git 提交。

  • 固定 60 条评测样本、215 份资料,含来源许可、证据跨度和哈希校验。
  • 支持真实检索、端到端、标准证据生成诊断、模型辅助评分及回归报告。
  • 修复多轮空库拒答和资料访问范围;新增 IDF 加权检索。
  • 答案逐条绑定引用,校验原文与语义支持,保留有依据的部分答案。
  • CI 加入离线评测报告;另提供需要配置密钥的手动真实评测工作流。

本地验证:88 项测试通过,语句覆盖率 75%,ruff 与 JavaScript 语法检查通过。
固定小样本上证据 Recall@5 从 0.8333 到 0.8704;模型辅助正确性均分从 0.8250 到 0.8667。
以上不是人工准确率或生产收益,仍有失败样本;平均单题耗时约 0.74→1.82 秒,SSE 会等待核验后输出。

完整输出、评分理由、退化指标与限制:
https://github.com/JSJCY/knowledge-base-qa/blob/v1.2.0/evals/reports/v1.2.0/RESULTS.md

使用与维护:
https://github.com/JSJCY/knowledge-base-qa/blob/v1.2.0/docs/EVALUATION.md