Repository navigation
新增可复现的 RAG 评测与证据校验,并保留逐步实现的 Git 提交。
- 固定 60 条评测样本、215 份资料,含来源许可、证据跨度和哈希校验。
- 支持真实检索、端到端、标准证据生成诊断、模型辅助评分及回归报告。
- 修复多轮空库拒答和资料访问范围;新增 IDF 加权检索。
- 答案逐条绑定引用,校验原文与语义支持,保留有依据的部分答案。
- CI 加入离线评测报告;另提供需要配置密钥的手动真实评测工作流。
本地验证:88 项测试通过,语句覆盖率 75%,ruff 与 JavaScript 语法检查通过。
固定小样本上证据 Recall@5 从 0.8333 到 0.8704;模型辅助正确性均分从 0.8250 到 0.8667。
以上不是人工准确率或生产收益,仍有失败样本;平均单题耗时约 0.74→1.82 秒,SSE 会等待核验后输出。
完整输出、评分理由、退化指标与限制:
https://github.com/JSJCY/knowledge-base-qa/blob/v1.2.0/evals/reports/v1.2.0/RESULTS.md
使用与维护:
https://github.com/JSJCY/knowledge-base-qa/blob/v1.2.0/docs/EVALUATION.md