一个基于 AI Agent 的自动化工具,用于个人知识库搭建,支持多种来源,包括邮件,csv,pdf等。在 v0.9.1 版本中,系统升级了核心框架并持续重构为以“知识库大脑”为核心的智能管理引擎。
- 📧 自动邮件获取:从 QQ 邮箱自动获取 Google 学术推送邮件,支持自定义日期范围
- 💾 邮件本地存储:邮件信息自动保存到本地,处理速度更快,还能离线查看历史邮件
- 🔍 智能筛选:使用 AI Agent 进行相关性分析,自动筛选相关论文(遥操作、机器人动力学、力控、灵巧手等领域)
- 🧠 关键词智能扩写:AI 自动将简短的关键词扩写成详细的研究方向描述,让 AI 专家更准确地理解你的研究领域
- 🌐 智能摘要提取:从论文原网址自动提取完整摘要,支持 PDF 和网页格式,自动精准识别内容
- ✅ 摘要验证与清洗:AI Agent 验证提取的摘要真实性,并自动去除引用标记、图表引用等格式字符
- ⚙️ 多模型评审管理:支持配置多个 AI 模型并行评审,并由汇总专家识别共识与分歧,生成综合报告
- 🎨 现代化三面板布局:直观展示论文处理流程(来源、对话、生成)
- 🧠 知识库大脑(管理员):系统化整理数据库内容,将
source='note'的元素视为“已知知识”,其余视为“待学习知识”。 - 🗺️ 认知边界(缓存上下文):Agent 动态维护用户的“缓存上下文”,实时记录用户已掌握的知识图谱,存储于本地。
- 💡 Think点与关联总结:针对每篇论文生成:
- Think点:基于用户当前的认知边界,提炼 3 个用户可能感兴趣的研究方向。
- 关联总结:生成论文深度总结,特别突出与用户“已知知识”相关的部分。
- 🔄 知识同步系统:引入三状态流转(待处理 → 已导入 → 已同步),支持笔记内容改动后的自动重置与增量同步。
- 📈 Map-Reduce 长文分析架构:针对长篇论文,采用分段理解(Map)后再汇总(Reduce)的架构,大幅提升深度分析的准确性与信息密度。
- 🔍 “研究员”模式:作为知识库管理员,优先从“已知知识”(笔记)中检索,其次查询“未知知识”(论文)。支持严谨的学术引用(夹注形式标注来源)。
- 🎓 “导师”模式 (苏格拉底提问法):
- 引导式教学:不直接给出答案,而是通过引导性提问帮助用户深度理解。
- 评判与纠错:导师会针对用户的回答进行专业点评(对错判定),指出认知盲点并引导改进。
- 自我探索:系统会自动基于 think 点为用户推荐 5 个可能感兴趣的研究方向,确保持续探索的连贯性。
- 🌐 联网搜索集成:集成 Firecrawl API,支持在本地知识不足时进行实时联网搜索。
- 🧠 长对话记忆管理:支持 6000 tokens 上下文记忆,具备自动压缩功能。
- CrewAI (v1.7.2) - AI Agent 框架 (Windows 稳定性优化版)
- LiteLLM (v1.75.0) - 多模型连接中转站 (OpenAI 1.x 稳定协议兼容)
- 依赖平衡 - 已锁定 tokenizers 0.20.3 与 transformers 4.45.2 以消除核心冲突
- Ollama / OpenAI / DeepSeek - 支持本地与远程 LLM
- PostgreSQL + pgvector - 向量数据库,支持语义搜索
- Firecrawl - 联网搜索与网页解析 (v0.9 新增)
- Tiktoken - Token 计数与上下文管理 (v0.9 新增)
- Flask + Socket.IO - Web 交互引擎
- Python 3.8+
- Ollama 已安装并运行
- PostgreSQL 数据库 (需安装
pgvector扩展) - Firecrawl API Key (若需联网搜索功能)
- 克隆仓库:
git clone <repo-url> - 安装依赖:
pip install -r requirements.txt - 配置 .env: 配置邮箱、模型地址、数据库及外部 API Key
- 初始化数据库:
python utils/init_db.py
- 启动服务:
python web_server.py - 数据库系统:
- 开启“论文分析”开关,Agent 会自动对缺乏 think 点的论文进行深度分段分析。
- 双击“原文路径”图标,可直接在系统文件夹中定位本地 PDF 或 MD 文件。
- 笔记系统:
- 管理笔记的同步状态,开启“知识同步”将笔记内容吸收到认知边界中。
- 高级对话:
- 在对话框左下角切换“查询/探索”模式。
- 导师模式下,Agent 会根据你的认知边界主动发起探索邀请。
.
├── agents/ # AI专家模块
│ ├── knowledge_brain_agent.py # 知识库大脑 Agent
│ ├── chat_agent.py # 高级对话 Agent (研究员/导师模式)
│ ├── knowledge_engineer_agent.py # 知识入库专家
│ └── ... # 翻译、评审、相关性分析等 Agent
├── utils/ # 工具模块
│ ├── brain_tasks.py # 大脑任务编排
│ ├── brain_context_utils.py # 认知边界工具
│ ├── agent_task_queue.py # 异步任务队列
│ ├── web_search.py # 联网搜索工具
│ ├── vector_db.py # 向量数据库交互
│ └── ...
├── data/ # 认知边界与历史记录存储
├── database/ # PDF 与 Markdown 资源库
├── web_interface.html # 前端交互界面
└── web_server.py # 后端 Flask 服务器
- 🚀 核心框架升级:升级 CrewAI 至 v1.7.2,解决了 Windows 环境下的连接超时与 RPM 计时器偏差问题。
- 🛠️ 依赖同步:同步更新
requirements.txt以支持最新的多 Agent 协作特性。
- 🏗️ 系统架构重构:实现了从“论文处理工具”向“知识库大脑”的跨越式重构。
- 🧠 引入“知识库管理员”架构:系统现在能区分“已知”与“未知”知识,并自动维护用户的认知图谱。
- 🚀 新增“异步任务队列”:支持高度并发的后台任务管理,论文深度分析与知识同步不再阻塞主流程。
- 📈 升级“多段理解型 (Map-Reduce)”分析:彻底解决长论文理解不深的问题,生成的 think 点与总结具备极高的参考价值。
- 💬 发布“高级对话与推理引擎”:
- 完美实现“苏格拉底式”导师模式,具备纠错和引导功能。
- 研究员模式支持多维度知识库检索与精确引用。
- 新增“Agent 自我探索”机制,主动引导研究思路。
- 🌐 集成 Firecrawl 联网搜索:打破本地知识边界,支持实时互联网信息检索。
- 🎨 数据库界面大幅优化:支持摘要/正文拆分显示,支持本地文件路径智能跳转与定位。
- ✅ 个人知识库助手:基于 RAG 技术的智能问答系统。
- ✅ PDF 向量化存储:PostgreSQL + pgvector 支持高效语义搜索。
- ✅ 对话历史记忆:助手具备长对话上下文理解能力。
- 🏗️ 模块化重构:代码从 3000 行单文件拆分为 agents/processors/reporters 等模块。
- 🚀 多模型并行评审:支持多个模型(Ollama/OpenAI等)并行评审同一篇论文。
- 🧠 关键词智能扩写:AI 自动扩写研究方向,提升相关性分析精度。
- ✅ v0.6: 智能关键词扩写,批量确认摘要,重复论文检测优化。
- ✅ v0.5: 摘要人工确认确认、论文删除管理、日期选择优化。
- ✅ v0.4: 人工确认摘要、程序稳定性提升、日志管理优化。
- ✅ v0.3: 现代化 Web 界面发布,三面板布局。
- ✅ v0.2: 智能相关性分析升级(AI Agent 替代关键词匹配)。
- ✅ v0.1: 初始版本,支持邮件获取、翻译与评审基础功能。