Skip to content

Repository files navigation

📚 paper agent-成长型个人知识库 (v0.9.1)

一个基于 AI Agent 的自动化工具,用于个人知识库搭建,支持多种来源,包括邮件,csv,pdf等。在 v0.9.1 版本中,系统升级了核心框架并持续重构为以“知识库大脑”为核心的智能管理引擎。

✨ 功能特性

  • 📧 自动邮件获取:从 QQ 邮箱自动获取 Google 学术推送邮件,支持自定义日期范围
  • 💾 邮件本地存储:邮件信息自动保存到本地,处理速度更快,还能离线查看历史邮件
  • 🔍 智能筛选:使用 AI Agent 进行相关性分析,自动筛选相关论文(遥操作、机器人动力学、力控、灵巧手等领域)
  • 🧠 关键词智能扩写:AI 自动将简短的关键词扩写成详细的研究方向描述,让 AI 专家更准确地理解你的研究领域
  • 🌐 智能摘要提取:从论文原网址自动提取完整摘要,支持 PDF 和网页格式,自动精准识别内容
  • 摘要验证与清洗:AI Agent 验证提取的摘要真实性,并自动去除引用标记、图表引用等格式字符
  • ⚙️ 多模型评审管理:支持配置多个 AI 模型并行评审,并由汇总专家识别共识与分歧,生成综合报告
  • 🎨 现代化三面板布局:直观展示论文处理流程(来源、对话、生成)

🧠 知识库大脑与系统化整理 (v0.9 重大更新)

  • 🧠 知识库大脑(管理员):系统化整理数据库内容,将 source='note' 的元素视为“已知知识”,其余视为“待学习知识”。
  • 🗺️ 认知边界(缓存上下文):Agent 动态维护用户的“缓存上下文”,实时记录用户已掌握的知识图谱,存储于本地。
  • 💡 Think点与关联总结:针对每篇论文生成:
    • Think点:基于用户当前的认知边界,提炼 3 个用户可能感兴趣的研究方向。
    • 关联总结:生成论文深度总结,特别突出与用户“已知知识”相关的部分。
  • 🔄 知识同步系统:引入三状态流转(待处理 → 已导入 → 已同步),支持笔记内容改动后的自动重置与增量同步。
  • 📈 Map-Reduce 长文分析架构:针对长篇论文,采用分段理解(Map)后再汇总(Reduce)的架构,大幅提升深度分析的准确性与信息密度。

💬 高级对话与推理引擎 (v0.9 重大更新)

  • 🔍 “研究员”模式:作为知识库管理员,优先从“已知知识”(笔记)中检索,其次查询“未知知识”(论文)。支持严谨的学术引用(夹注形式标注来源)。
  • 🎓 “导师”模式 (苏格拉底提问法)
    • 引导式教学:不直接给出答案,而是通过引导性提问帮助用户深度理解。
    • 评判与纠错:导师会针对用户的回答进行专业点评(对错判定),指出认知盲点并引导改进。
    • 自我探索:系统会自动基于 think 点为用户推荐 5 个可能感兴趣的研究方向,确保持续探索的连贯性。
  • 🌐 联网搜索集成:集成 Firecrawl API,支持在本地知识不足时进行实时联网搜索。
  • 🧠 长对话记忆管理:支持 6000 tokens 上下文记忆,具备自动压缩功能。

🛠️ 技术栈

  • CrewAI (v1.7.2) - AI Agent 框架 (Windows 稳定性优化版)
  • LiteLLM (v1.75.0) - 多模型连接中转站 (OpenAI 1.x 稳定协议兼容)
  • 依赖平衡 - 已锁定 tokenizers 0.20.3 与 transformers 4.45.2 以消除核心冲突
  • Ollama / OpenAI / DeepSeek - 支持本地与远程 LLM
  • PostgreSQL + pgvector - 向量数据库,支持语义搜索
  • Firecrawl - 联网搜索与网页解析 (v0.9 新增)
  • Tiktoken - Token 计数与上下文管理 (v0.9 新增)
  • Flask + Socket.IO - Web 交互引擎

📋 前置要求

  1. Python 3.8+
  2. Ollama 已安装并运行
  3. PostgreSQL 数据库 (需安装 pgvector 扩展)
  4. Firecrawl API Key (若需联网搜索功能)

🚀 安装步骤

  1. 克隆仓库: git clone <repo-url>
  2. 安装依赖: pip install -r requirements.txt
  3. 配置 .env: 配置邮箱、模型地址、数据库及外部 API Key
  4. 初始化数据库: python utils/init_db.py

📖 使用方法

  1. 启动服务: python web_server.py
  2. 数据库系统:
    • 开启“论文分析”开关,Agent 会自动对缺乏 think 点的论文进行深度分段分析。
    • 双击“原文路径”图标,可直接在系统文件夹中定位本地 PDF 或 MD 文件。
  3. 笔记系统:
    • 管理笔记的同步状态,开启“知识同步”将笔记内容吸收到认知边界中。
  4. 高级对话:
    • 在对话框左下角切换“查询/探索”模式。
    • 导师模式下,Agent 会根据你的认知边界主动发起探索邀请。

📁 项目结构 (v0.9)

.
├── agents/                      # AI专家模块
│   ├── knowledge_brain_agent.py  # 知识库大脑 Agent
│   ├── chat_agent.py            # 高级对话 Agent (研究员/导师模式)
│   ├── knowledge_engineer_agent.py # 知识入库专家
│   └── ...                      # 翻译、评审、相关性分析等 Agent
├── utils/                       # 工具模块
│   ├── brain_tasks.py           # 大脑任务编排
│   ├── brain_context_utils.py   # 认知边界工具
│   ├── agent_task_queue.py      # 异步任务队列
│   ├── web_search.py            # 联网搜索工具
│   ├── vector_db.py             # 向量数据库交互
│   └── ...
├── data/                        # 认知边界与历史记录存储
├── database/                    # PDF 与 Markdown 资源库
├── web_interface.html           # 前端交互界面
└── web_server.py                # 后端 Flask 服务器

📝 版本更新日志

v0.9.1 (当前版本) - 框架升级与稳定性优化

  • 🚀 核心框架升级:升级 CrewAI 至 v1.7.2,解决了 Windows 环境下的连接超时与 RPM 计时器偏差问题。
  • 🛠️ 依赖同步:同步更新 requirements.txt 以支持最新的多 Agent 协作特性。

v0.9 - 核心架构大更新:从工具到大脑

  • 🏗️ 系统架构重构:实现了从“论文处理工具”向“知识库大脑”的跨越式重构。
  • 🧠 引入“知识库管理员”架构:系统现在能区分“已知”与“未知”知识,并自动维护用户的认知图谱。
  • 🚀 新增“异步任务队列”:支持高度并发的后台任务管理,论文深度分析与知识同步不再阻塞主流程。
  • 📈 升级“多段理解型 (Map-Reduce)”分析:彻底解决长论文理解不深的问题,生成的 think 点与总结具备极高的参考价值。
  • 💬 发布“高级对话与推理引擎”
    • 完美实现“苏格拉底式”导师模式,具备纠错和引导功能。
    • 研究员模式支持多维度知识库检索与精确引用。
    • 新增“Agent 自我探索”机制,主动引导研究思路。
  • 🌐 集成 Firecrawl 联网搜索:打破本地知识边界,支持实时互联网信息检索。
  • 🎨 数据库界面大幅优化:支持摘要/正文拆分显示,支持本地文件路径智能跳转与定位。

v0.8

  • 个人知识库助手:基于 RAG 技术的智能问答系统。
  • PDF 向量化存储:PostgreSQL + pgvector 支持高效语义搜索。
  • 对话历史记忆:助手具备长对话上下文理解能力。

v0.7

  • 🏗️ 模块化重构:代码从 3000 行单文件拆分为 agents/processors/reporters 等模块。
  • 🚀 多模型并行评审:支持多个模型(Ollama/OpenAI等)并行评审同一篇论文。
  • 🧠 关键词智能扩写:AI 自动扩写研究方向,提升相关性分析精度。

v0.6 - v0.1 (历史记录)

  • v0.6: 智能关键词扩写,批量确认摘要,重复论文检测优化。
  • v0.5: 摘要人工确认确认、论文删除管理、日期选择优化。
  • v0.4: 人工确认摘要、程序稳定性提升、日志管理优化。
  • v0.3: 现代化 Web 界面发布,三面板布局。
  • v0.2: 智能相关性分析升级(AI Agent 替代关键词匹配)。
  • v0.1: 初始版本,支持邮件获取、翻译与评审基础功能。

About

一个基于 AI agent的自动化工具,用于个人知识库的搭建,和普通知识库不同点在于,利用大模型苏格拉底提问方式帮助用户拓展知识

Resources

Stars

3 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages