Skip to content

Releases: Given-Dream/PaperMiner

PaperMiner v1.4.24

Choose a tag to compare

@Given-Dream Given-Dream released this 06 Sep 01:50

PaperMiner v1.4.24

本版让主界面的提取勾选项同时控制 MinerU raw 生成策略。

  • 未勾选公式或表格时,关闭对应 MinerU 识别阶段。
  • VLM / hybrid 未勾选图片时,关闭图片语义分析。
  • 按已选功能的真实依赖保留 Markdown、content list、middle JSON 和原 PDF 证据。
  • 不再生成 PaperMiner 未使用的 model JSON、layout bbox PDF 和 span bbox PDF。
  • 没有图表输出需求时使用 nlp_markdown,避免 Markdown 嵌入未选视觉块。
  • worker 日志逐篇显示勾选内容、raw 保留文件和识别开关。
  • 主界面提示 raw 不再是万能归档;补提未勾选内容需要保留原 PDF 并重新处理。

说明:MinerU pipeline 使用联合版面分析,普通图片定位不能像公式、表格一样完全关闭,因而 raw 中仍可能出现必要的图片中间文件;extract 输出严格遵循勾选项。

安装包为单文件 PaperMiner-v1.4.24-Setup.exe。安装后才会生成 PaperMiner.exe 和 Uninstall.exe。

PaperMiner v1.4.22

Choose a tag to compare

@Given-Dream Given-Dream released this 05 Sep 04:50

PaperMiner v1.4.22

本版修复 NVIDIA RTX 30、40、50 系显卡的 PyTorch CUDA wheel 选择与自动修复逻辑。

主要变化

  • 同时读取 GPU 型号、计算能力和 Windows 驱动版本,不再只按驱动号选择 CUDA。
  • RTX 30 / Ampere、RTX 40 / Ada 根据驱动使用 cu126、cu121 或 cu118。
  • RTX 50 / Blackwell 在 Windows 驱动 580.88 及更新版本上使用 cu130。
  • RTX 50 在 570.65–580.87 驱动区间使用固定的 PyTorch 2.11.0 cu128 兼容组合;更旧驱动提示升级并暂时使用 CPU wheel。
  • 混合多卡按要求最高的一张选择统一 wheel,并在每张可见 GPU 上执行真实 FP32→FP16 运算与同步。
  • 发现 CUDA runtime 不符、缺少当前 GPU kernel image 或内核运算失败时,Setup 会显示现有环境与目标方案,卸载旧 torch/torchvision/torchaudio 后重装。
  • PaperMiner 主程序的 GPU 预检也执行真实 kernel 测试;若仍发生 no kernel image,日志会明确提示使用 Setup 的“重装”。

PaperMiner v1.4.18

Choose a tag to compare

@Given-Dream Given-Dream released this 30 Aug 15:17

PaperMiner v1.4.18

本版调整闪退半成品的生命周期:

  • 批次暂停或异常中断期间,半成品继续暂存在 Recovery\Interrupted,用于后续恢复。
  • 当本批次所有文献均已完成、失败或跳过后,自动删除仅属于该批次的暂存半成品。
  • 清理仅匹配当前批次 ID,且必须位于当前输出根的 Recovery\Interrupted 内。
  • raw、extract 正式结果以及其他批次的恢复目录不会被删除。
  • 发现路径越界、重解析点或文件锁定时拒绝扩大删除范围;保留对应目录、记录日志,并在下次启动重试。

本版继续包含 v1.4.17 的 SQLite WAL 批次恢复、原子完成标记和 GUI 闪退自动重启能力。

PaperMiner v1.4.15

Choose a tag to compare

@Given-Dream Given-Dream released this 29 Aug 11:43

PaperMiner v1.4.15

下载与安装加速

  • Anaconda 同时测试清华、北外、南大和 Anaconda 官方源,按短样本实测速度排序,下载失败或持续过慢时自动切换。
  • Python 通用依赖并行测试清华、阿里云、中科大、腾讯和 PyPI 官方索引,选择当前网络下最快的单一来源,失败时回退官方 PyPI。
  • PyTorch CUDA 主 wheel 仍从 PyTorch 官方索引获取;NumPy、Pillow、NetworkX 等通用依赖会先从测速选中的 PyPI 源安装。
  • 增加超时、重试、二进制 wheel 优先和可观察的来源/速率日志。

GPU 环境诊断

  • 枚举所有 NVIDIA GPU 的索引、型号、显存和驱动版本。
  • 安装后记录 PyTorch、CUDA runtime、cuDNN 以及全部 CUDA 设备,并以 torch.cuda.is_available() 作为最终验证。
  • 没有可用 NVIDIA 驱动时安装 CPU 版,显示官方驱动入口;驱动就绪后可通过“重装”切换到 CUDA 版。
  • 修复旧版 GPU 名称回显引号错误造成的 The system cannot find the file specified.。

完整性

PaperMiner-v1.4.15-Setup.exe

SHA-256: 6DCE3DA7CA841D8232E731CB7B979684D643FA59A10F6D9F11EE5C4460A76683

PaperMiner v1.4.11

Choose a tag to compare

@Given-Dream Given-Dream released this 27 Aug 02:12

PaperMiner v1.4.11

单实例与双击防抖

  • 当前 Windows 会话只允许一个 PaperMiner GUI。
  • 双击、连续点击、重复启动或从另一安装目录启动时,后续请求直接退出,不再创建第二个窗口。
  • 启动器在后台保持单实例锁,直到 GUI 完全退出。

完整关闭 MinerU

  • 启动器将 GUI 及其全部后代进程放入 Windows KILL_ON_JOB_CLOSE 作业对象。
  • 点击关闭时,主程序先禁止新 MinerU 任务创建,再按已登记 PID 终止整个进程树并等待退出。
  • 普通终止未完成时会强制结束;“停止”按钮和多 GPU 致命错误同样使用这套清理流程。
  • 即使启动器被任务管理器结束,作业对象也会回收 GUI 和 MinerU 后代进程。

PaperMiner v1.4.8

Choose a tag to compare

@Given-Dream Given-Dream released this 25 Aug 11:05

PaperMiner v1.4.8 将“文末开源代码地址”升级为“代码与数据可用性”。

  • 提取 Code availability 与 Data availability 中的代码仓库、数据集和归档平台超链接。
  • 支持 GitHub/GitLab/Gitee、Zenodo/OSF/Figshare/Dataverse/Mendeley Data/Dryad/Kaggle/Hugging Face 等平台及明确声明附近的其他网站。
  • 解析原 PDF 外部超链接注释,恢复隐藏、换行或 MinerU 文本损坏的 URL。
  • 排除 DOI、出版商 DOI 端点和 Elsevier 参考文献跳转链接,并消除截断仓库前缀。
  • 可选 LLM 仅分类已发现候选,不能杜撰或修改 URL;失败时自动回退本地规则。
  • 无可信地址时不生成空 Markdown,仅记录扫描完成;汇总只纳入真实含地址的报告。
  • 保留 v1.4.7 的单卡/多卡 MinerU 并行能力。

安装包支持非 C 盘子目录;更新时保留 .env、输入、输出与历史日志。

SHA-256:E3BAA6AF27F430932AF338E37E0C50F856F939068D551D392BFDC5F54D998C4E

PaperMiner v1.4.5

Choose a tag to compare

@Given-Dream Given-Dream released this 23 Aug 05:10

PaperMiner v1.4.5

主要更新

  • 输入 PDF 目录和输出根目录可在主界面自由选择,并持久保存到 %LOCALAPPDATA%\PaperMiner\settings.json。
  • MinerU 改为逐篇独立进程运行。CUDA、PyTorch、ONNX Runtime 等原生组件即使硬崩溃,也只影响当前文献;主界面保留日志和退出码,并继续其余队列。
  • 修复安装器把旧版 MinerU 2.6.4 误判为可用的问题;安装和启动统一要求 mineru>=3.1.0,<4.0,旧环境会自动进入升级流程。
  • 批处理日志和界面更新统一由 Tk 主线程处理,降低长任务中的跨线程不稳定风险。
  • 每篇结束后回收 Python/CUDA 临时资源,并在日志记录工作集、私有内存和显存变化。
  • 启用 faulthandler,原生异常时尽可能将线程堆栈写入 logs\PaperMiner_*.log。

安装或升级

下载并运行 PaperMiner-v1.4.5-Setup.exe。已安装旧版时直接选择原安装目录执行安装/修复,不需要手工删除 Conda 环境、输入文件或输出结果。

安装完成后,运行日志中的 MinerU 版本应位于 3.1.0(含)至 4.0.0(不含)之间;批处理步骤 1 会显示“稳定隔离进程”。

文件校验

SHA-256  1DB6CAD171B16533912147729AF2D876D205B0D3F9E2DD8F7FDE4B5E59BAD754

PaperMiner v1.4.4

Choose a tag to compare

@Given-Dream Given-Dream released this 21 Aug 15:16

PaperMiner v1.4.4 正式版。

更新内容:

  • 将“合并同名章节到 Markdown”扩展为“合并同名章节和图表到 Markdown”。
  • 图表内容读取各论文 Word 文件夹下的 Markdown,并生成图表汇总文件。
  • 自动修正汇总 Markdown 中 Figure、Tables 等相对链接。
  • 支持图题中的嵌套方括号、目录名空格,以及章节或图表不完整的论文。

安装包 SHA-256:
9A0BC8004E5B4AF06DE4EB2CB6A2632781C976324C4CD501090799E2AC2C2E48

PaperMiner v1.4.3

Choose a tag to compare

@Given-Dream Given-Dream released this 21 Aug 14:04

PaperMiner v1.4.3

本版本修复 v1.4.2 在无控制台模式启动 MinerU pipeline 时,doclayout_yolo 读取空标准输出导致解析立即失败的问题。

修复内容

  • 修复 'NoneType' object has no attribute 'encoding'。
  • PaperMiner.exe 继续通过 pythonw.exe 无控制台启动,不会额外弹出 PowerShell 窗口。
  • 在导入 MinerU 前为缺失的 sys.stdout 和 sys.stderr 补建完整 UTF-8 文本流。
  • 已使用真实 pythonw.exe 验证原失败的 MinerU pipeline 导入链。
  • 保留 v1.4.2 的跨盘 Conda 环境识别以及非 C 盘安装支持。

下载与校验

  • 安装包:PaperMiner-v1.4.3-Setup.exe
  • SHA-256:752372F43F6B7F23EE55C69519B10301239E48A7996FAE9C63098922261CFB9A
Get-FileHash -Algorithm SHA256 .\PaperMiner-v1.4.3-Setup.exe

从 v1.4.2 升级时可直接运行新 Setup,并选择原安装目录。Setup 会保留 .env、input、output 与 logs。

PaperMiner v1.4.2

Choose a tag to compare

@Given-Dream Given-Dream released this 21 Aug 13:00

PaperMiner v1.4.2

本版本修复 v1.4.1 在 Conda 主程序与 MinerU 环境分盘存放时,依赖安装成功却被最终运行时检查误报失败的问题。

修复内容

  • Setup 通过 conda env list --json 获取 MinerU 环境的真实绝对路径。
  • 支持 Conda 与 MinerU 位于不同磁盘,以及 Conda 自定义 envs_dirs。
  • 支持将 PaperMiner 安装到 C、D、E、F 等任意可写子目录;仍禁止直接安装到磁盘根目录。
  • 重装和卸载只对 Conda 已注册、名称为 MinerU 的精确环境前缀操作。
  • 新增完整运行时依赖复核,并向外层 Setup 返回真实失败状态。
  • 修正 Conda 路径规范化和 cmd.exe 引号,清除日志中的路径语法伪错误。

下载与校验

  • 安装包:PaperMiner-v1.4.2-Setup.exe
  • SHA-256:668575812DBFF5B1214C6C23480C6C9ADEC6B9EED015E8A74E177548D25B16A8
Get-FileHash -Algorithm SHA256 .\PaperMiner-v1.4.2-Setup.exe

从 v1.4.1 升级时可直接运行新 Setup,并选择原安装目录。Setup 会保留 .env、input、output 与 logs。