Skip to content

Releases: Fiveo9/EMADownloader

v0.1.3

Choose a tag to compare

@github-actions github-actions released this 13 Sep 14:00

Full Changelog: v0.1.2...v0.1.3

v0.1.2

Choose a tag to compare

@github-actions github-actions released this 05 Sep 10:28
  • 新增:Web 界面「设置」页与同步对话框使用同一份类型清单(数据源实际类型 + 文档数),并补充 README 文档类型速查表——此前设置页为静态 9 种、对话框为数据源生成的 86 种,口径不一致易造成理解困惑。
  • 修复:问答文档归档与一级目录编号——medicine-qa(EMA 当前的问答类型标识)此前未映射、会落入其他目录;现与公开声明同归 03_QA_Public_Statements。同时移除数据源已不存在的旧类型标识(q-and-a / legislation / reflection-paper 等)的目录映射,并将一级目录编号紧凑化(03_QA_Public_Statements04_Other_Documents)。README 资料库目录结构与架构图同步更新。
  • 新增:同步对话框的类型选项按数据源实际类型生成——每次同步后统计各类型文档数(90_Raw_JSON/type_distribution.json,经 /api/summary 提供),选项按数量降序展示并标注数量,数据源中不存在的类型不再出现,"选了没结果"一眼可见。
  • 修复:总览定时刷新(每 10 秒)会静默重置同步对话框中正在编辑的类型勾选——对话框打开期间不再重建选项,用户勾选实时保存、重建后恢复;类型字段增加「留空使用默认」提示。
  • 修复:同步对话框打开时类型勾选框误勾选全部类型(与注释意图相反的 concat 笔误),现按设置中的默认文档类型勾选。
  • 修复:同步对话框/设置的文档类型清单与 EMA 数据源实际标识对齐——q-and-alegislationeu-legislationreflection-paperposition-paperconcept-paper 等旧标识在数据源中已不存在(问答文档现标识为 medicine-qa,反思/概念文件归入 scientific-guideline),按这些类型筛选会得到 0 条结果,导致"全选"与"按默认设置"的同步结果完全相同。默认选项改为数据源中真实存在的类型。

Full Changelog: v0.1.1...v0.1.2

v0.1.1

Choose a tag to compare

@github-actions github-actions released this 05 Sep 08:43
  • 修复:同步任务在「抓取数据源」阶段假死——EMA 反爬偶发 403 拦截代理出口 IP,且不稳定的代理连接可能以涓流速率传输导致读超时永不触发。现改为:403/429 时自动改用直连重试;每次尝试增加总耗时预算(timeout × 3,下限 90 秒),超时按失败重试;抓取阶段支持任务取消(Web 界面「取消任务」在卡住时可立即生效)。
  • 修复:「取消任务」后长期停留在「等待当前文件完成」——进行中的下载现会在下一个数据块边界立即中止(几秒内),未开始的任务直接丢弃;取消的文件不计入失败统计。
  • 修复:下载/抓取对"涓流式"停滞连接的鲁棒性——60 秒窗口内接收不足 64 KB 判定为停滞,中止当前尝试并自动重试。为此请求改用 Accept-Encoding: identity 并逐网络读取数据块(iter_raw),确保取消与停滞检查在每个读取间隙生效。
  • 变更:User-Agent 改为纯浏览器标识(Chrome),不再附加 EMADownloader/0.1.0 标记;移除从未生效的 network.user_agent 配置项。
  • 新增:Windows 免安装绿色版支持——PyInstaller 打包 EMA文件库.exe(onedir、双击启动并自动打开浏览器),frozen 模式下配置/资料库/分类规则锚定 exe 目录,端口被占用时自动顺延;build_exe.bat 一键本地构建,release.yml 在推送 v* 标签时自动构建并附到 GitHub Release。
  • 新增:启动Web界面.bat 一键启动脚本(自动检测 Python 并安装依赖)。
  • 新增:本地 Web 图形界面(pip install -e ".[ui]" 后运行 ema-downloader-ui),提供总览统计、文档库检索(关键词 / 类型 / 下载状态 + 分页 + 打开本地文件)、任务实时进度与日志、任务取消与历史记录;服务仅绑定 127.0.0.1,可选依赖仅为 Flask。
  • 新增:Web 界面「设置」页,图形化管理网络参数(并发 / 超时 / 重试 / 代理)、默认筛选与存储 / 分类路径;仅写入 gitignored 的 settings.local.toml 覆盖层(保留已有键与注释,代理以掩码显示、不回传明文),保存即生效。
  • 新增:Downloader.download_batchDownloader.verify_library 支持协作式取消(cancel_check / progress_callback 参数),CLI 行为不变。
  • 新增:Database.get_documents 分页参数 offset,以及 count_documents / get_last_sync / get_filter_options 查询。

Full Changelog: https://github.com/Fiveo9/EMADownloader/commits/v0.1.1