Repository navigation
Releases
Releases · JSJCY/knowledge-base-qa
v1.2.0 — RAG quality evaluation and grounded citations
新增可复现的 RAG 评测与证据校验,并保留逐步实现的 Git 提交。
- 固定 60 条评测样本、215 份资料,含来源许可、证据跨度和哈希校验。
- 支持真实检索、端到端、标准证据生成诊断、模型辅助评分及回归报告。
- 修复多轮空库拒答和资料访问范围;新增 IDF 加权检索。
- 答案逐条绑定引用,校验原文与语义支持,保留有依据的部分答案。
- CI 加入离线评测报告;另提供需要配置密钥的手动真实评测工作流。
本地验证:88 项测试通过,语句覆盖率 75%,ruff 与 JavaScript 语法检查通过。
固定小样本上证据 Recall@5 从 0.8333 到 0.8704;模型辅助正确性均分从 0.8250 到 0.8667。
以上不是人工准确率或生产收益,仍有失败样本;平均单题耗时约 0.74→1.82 秒,SSE 会等待核验后输出。
完整输出、评分理由、退化指标与限制:
https://github.com/JSJCY/knowledge-base-qa/blob/v1.2.0/evals/reports/v1.2.0/RESULTS.md
使用与维护:
https://github.com/JSJCY/knowledge-base-qa/blob/v1.2.0/docs/EVALUATION.md
v1.1.0 Web 前端界面
新增零依赖 Web 前端界面,启动后访问 http://127.0.0.1:8000/ 即可使用。
新功能
- 💬 问答聊天界面:气泡对话、思考中动画、引用来源可展开(文档 / 段落 / 相似度分数)、多轮会话上下文
- 📄 文档管理侧栏:点击或拖拽上传、索引状态、切块数量、重新向量化、删除
- 🔍 检索面板:纯向量检索(不走大模型)、按文档过滤、Top-K 选择、相似度分数条可视化
- 🗂 会话列表:历史会话点击回看、删除、当前会话高亮
- 🏷 顶栏状态徽章:DeepSeek 已连接 / Mock 模式提示、版本号、Swagger 入口
调整
- 服务信息接口由 GET / 迁移至 GET /api/v1/info,根路径改为托管前端页面
- 新增 3 个前端托管测试(共 53 用例,覆盖率 92%)
技术说明
- 原生 HTML/CSS/JS 单页应用,由 FastAPI StaticFiles 同源托管:零构建工具、零前端依赖、无 CORS 配置
v1.0.0 知识库问答系统首发
知识库问答系统 v1.0.0 首发。
功能
- 文档管理:.txt / .md / .pdf 上传、解析、切块(段落感知 + 块间重叠),兼容 UTF-8 / GB18030 中文编码
- 本地向量化:fastembed + BAAI/bge-small-zh-v1.5(ONNX 本地推理,免费离线,模型仅首次下载)
- 语义检索:POST /api/v1/search 余弦相似度 Top-K,支持限定单文档与 reindex 重建索引
- RAG 问答:POST /api/v1/chat 由 DeepSeek 依据检索资料生成回答,附带引用来源(文档/段落/相似度),库外问题诚实拒答
- 多轮会话:会话与消息 SQLite 持久化,自动标题,追问携带上下文
- 可插拔:未配置 API Key 自动降级 Mock 模式;向量化与 LLM 均为依赖注入
- 质量:50 个 pytest 用例、92% 覆盖率、ruff 规范、GitHub Actions CI
快速开始与完整 API 文档见 README。