Skip to content

fix(perceives): PDF→Markdown 学术论文 1:1 还原 v2(断字 / 三段采样 / 标题误判 / TOC / 图片孤儿) - #648

Merged
ThreeFish-AI merged 2 commits into
feature/1.x.xfrom
ThreeFish-AI/pdf-to-markdown-parity-v1
May 25, 2026
Merged

fix(perceives): PDF→Markdown 学术论文 1:1 还原 v2(断字 / 三段采样 / 标题误判 / TOC / 图片孤儿)#648
ThreeFish-AI merged 2 commits into
feature/1.x.xfrom
ThreeFish-AI/pdf-to-markdown-parity-v1

Conversation

@ThreeFish-AI

@ThreeFish-AI ThreeFish-AI commented May 25, 2026

Copy link
Copy Markdown
Owner

背景

  • 要解决的问题:在 fix(perceives): PDF→Markdown 学术论文 1:1 还原五处根因修复(ISSUE-094) #647(ISSUE-094 图片宽高 / MinerU schema / 首页双栏 三处根因)合入之后,以 71 页双栏 LaTeX 论文 50714_Agent_Harness_Engineerin.pdf 作为基线再次实测「negentropy-perceives.parse_pdf_to_markdownnegentropy-ui Document View」端到端保真度,发现仍残留 5 类高发缺陷:
    1. 跨行断字 218 处全部残留(PyMuPDF 折行 word-\nwordword- word 后无处复合);
    2. 公式漏检formula_extraction Stage 被 selector 整段短路(71 页论文 0 块级公式 / 2 inline)——quick_scan 只扫前 10 页,而 math font span 集中在 page 16/18/47/62;
    3. 作者署名 / Table caption 误判 H4:15 位 ASCII * 作者超长无 unicode 标记被认作大字号 heading;Table N: caption 同被错升为 heading 污染目录;
    4. TOC 错乱表:docling 提取的目录页 4 列表格 cell-merge 错乱不可挽救(首行 \| 1 \| 1 \| 1 \|);
    5. 图片孤儿:矢量图渲染落盘但末段 markdown_refs 被 caption/IoU 去重链路误删——disk 19 张 vs markdown 引用仅 13 张。
  • 关联上下文ISSUE-094 · 第三轮迭代 · PDF 一比一还原质量迭代笔记 · 基线 PR fix(perceives): PDF→Markdown 学术论文 1:1 还原五处根因修复(ISSUE-094) #647edb54014)。

核心变更

5 处改动正交独立,按文件粒度可单独 cherry-pick;其中 1 处货币号 negative lookahead 是 hyphenation 修复的连锁前置条件(修断字暴露了 $200 to $125 误识 math 的旧缺陷)。

文件 改动摘要
markdown/formatter.py _typography_inner 追加 re.sub(r"([a-z])- ([a-z])", r"\1\2", text)——仅 ASCII 小写两侧合并,避开 state-of-the-art / 20- 30 / X- Ray 等复合形态。
pdf/math_formula.py _MATH_DELIMITERS 的 inline $ ... $ 改为 (?<!\$)\$(?![\$\d])[^$\n]+?\$(?!\d)——禁跨行 + 前后双向 USD 数字 negative lookahead,根治 $0.30/MTok … $200 to $125 等被误识为 math 导致区域内 typography 失效。
pipeline/stages/pdf/quick_scan.py 新增 _compute_scan_page_indices(start, end, max_scan=15)——first/middle/last 三段均匀采样,替换「前 10 页固定扫描」启发式,覆盖学术论文方法 / 实验 / 附录章节特征信号。
pipeline/stages/pdf/assembly.py 扩展 _is_author_byline 识别 Name 1,2,* 多作者 ASCII affiliation 模式;新增 _is_table_caption / _is_toc_table_text / _byline_to_paragraph / _table_caption_to_paragraph——误判 heading 从「continue 跳过」改为「降级为段落」(保留信息脱离标题层级),TOC 错乱表整段抑制。
markdown/image_ref_normalizer.py normalize_image_references 新增 Phase 3 _append_orphan_images 兜底(带 <!-- orphan images appended --> 注释),append_orphans=False 可关以保持旧合约。

测试与文档:

  • 5 个新单测套件 + 既有 2 个套件扩展(共 61 个新单测)+ 1 个集成测试套件 + 1 个 golden 特征签名。
  • docs/agents/issue.md 追加 ISSUE-094「第三轮迭代」子节;新增 docs/agents/pdf-harness-engineering-parity.md 端到端质量迭代笔记;docs/agents/knowledge-map.md 索引同步。

风险与回滚

  • 风险 1:三段采样在「特征极度稀疏」的非学术 PDF 上可能仍抓不到信号——但仍 ≥ 旧策略且包含前 5 页(即旧采样窗的子集),单调改进。
  • 风险 2[a-z]- [a-z] 合并在「有意小写连字符短语」上可能误吞——对照基线 2603.05344v3.pdf(14 公式 / 23 图 / 18 代码 / 9 表)已确认 0 退化。
  • 风险 3:孤儿图追加默认开启,旧 markdown 无规范引用的下游消费者可能见到末尾新增段——append_orphans=False 可显式关闭恢复旧合约。
  • 回滚:5 处改动正交独立、按文件粒度可单独 git revert,无连锁影响。

验证证据

  • 单元测试(本地 uv run pytest -q):61 新单测全 pass,关联 152 套件全绿,既有 525 例 0 回归。
  • 集成测试tests/integration/test_pdf_harness_engineering_parity.py(7 例)+ tests/fixtures/pdf/harness-engineering/expected_signature.json golden 特征签名(counts + 容差 + must_contain/must_not_contain);@pytest.mark.slow 默认 CI 跳过,本地基线 PDF 手跑 7/7 pass。
  • E2E / 实机回归:accra-v1 启独立 perceives MCP(port 2993)→ 临时切 Corpus extractor route 到新 server → POST .../refresh_markdown 重提取 → UI Document View 用 chrome_devtools 接入用户主 Chrome 多页截图对照(封面 / 双栏 / Figure 5 / Section 8.6 / References),所有缺陷消失。
  • 量化效果(全本 71 页):
    • 断字残留 218 → 0
    • formula_extractionskipped:profile:no_has_formulas → mineru 命中 3 块
    • 误判 H4:2(作者行 + Table S2)→ 0
    • TOC 错乱表:83 行 → 0
    • 图片:13 ref + orphan fallback(disk vs markdown 一致)
    • 切片前 5 页:24s(< 30s 目标)
    • 全本:60s(mineru 漏跑)→ 180–300s(< 320s,mineru 200s+ 为固有开销)

影响范围

  • 前端:无。
  • 后端apps/negentropy-perceives/ 5 处源文件 + 7 处测试 / fixture / 集成测试。
  • GitHub Actions / 文档docs/agents/issue.md 追加 ISSUE-094 第三轮迭代;新增 docs/agents/pdf-harness-engineering-parity.mddocs/agents/knowledge-map.md 索引同步。CI 默认跳过本期新增集成测试(@pytest.mark.slow)。

Next Best Action

  • Corpus extractor route 默认 timeout_ms 上调到 600s(默认 300s 在 71 页 + mineru 公式抽取下偶发超时),或在 UI 暴露 timeout 配置项。
  • 把本期端到端验证范式(独立 perceives MCP + 临时切 extractor route + refresh_markdown)沉淀为复用脚本,便于后续 PDF / Webpage extractor 改动复用。
  • 引入 2603.05344v3.pdf 作为对照基线,让任何 assembly 反向去重改动前后跑双 PDF 计数签名 diff,>10% 触发 review。

…图片孤儿);

承接 #647(ISSUE-094 图片宽高 / MinerU schema / 首页双栏三处根因)之上的端到端质量回归,
针对 71 页双栏 LaTeX 论文基线再定位 5 处独立根因,全部修复且单测 + 集成测试覆盖:

1. formatter.py::_typography_inner 追加 `[a-z]- [a-z]` ASCII 小写跨行断字合并规则,
   避开 state-of-the-art / 20- 30 / X- Ray 等复合形态;
2. pdf/math_formula.py::_MATH_DELIMITERS 的 inline `$ ... $` 改为
   `(?<!\$)\$(?![\$\d])[^$\n]+?\$(?!\d)` —— 禁跨行 + 前后双向 USD 数字 negative lookahead,
   根治 `$200 to $125` 等货币号被误识为 math 导致区域内 typography 修复失效;
3. pipeline/stages/pdf/quick_scan.py 新增 `_compute_scan_page_indices(start, end, max_scan=15)`:
   first/middle/last 三段均匀采样,替换"前 10 页固定扫描"启发式,覆盖学术论文方法 / 实验 /
   附录章节的特征信号;
4. pipeline/stages/pdf/assembly.py 扩展 `_is_author_byline` 识别多作者 ASCII affiliation
   模式,新增 `_is_table_caption` / `_is_toc_table_text` / `_byline_to_paragraph` /
   `_table_caption_to_paragraph` —— 误判 heading 从"continue 跳过"改为"降级为段落",
   TOC 错乱表整段抑制;
5. markdown/image_ref_normalizer.py 新增 Phase 3 `_append_orphan_images` 兜底,
   `append_orphans=False` 可关,避免矢量图被 caption/IoU 去重链路误删后"图片孤儿"。

测试与文档:
- 5 个新单测套件 + 1 个集成测试套件(默认 CI skip + golden 特征签名):
  test_formatter_hyphenation (7) / test_quick_scan_sampling (6) /
  test_assembly_byline_filter (14) / test_assembly_toc_filter (6) /
  test_formatter_math_protection 扩展 (+2) / test_image_ref_normalizer 扩展 (+5) /
  test_pdf_harness_engineering_parity (7 集成);
- 既有 525 单测 0 回归(本地 152 关联用例全绿);
- docs/agents/issue.md 追加 ISSUE-094「第三轮迭代」子节;
- docs/agents/pdf-harness-engineering-parity.md 新增端到端质量迭代笔记;
- docs/agents/knowledge-map.md 索引同步。

量化效果(71 页论文):断字残留 218 → 0;formula_extraction 由 skipped 改为 mineru 命中 3 块;
误判 H4 由 2 → 0;TOC 错乱 83 行 → 0;图片落盘 vs markdown_refs 一致(+ orphan fallback)。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>
@ThreeFish-AI ThreeFish-AI changed the title fix(perceives): PDF→Markdown 学术论文 1:1 还原 v2 增量修复 fix(perceives): PDF→Markdown 学术论文 1:1 还原 v2(断字 / 三段采样 / 标题误判 / TOC / 图片孤儿) May 25, 2026
…orithm N`/`GPT 4` 等学术标题

之前 `multi_author_affiliation` 正则的 `(?:,\s*\d+)*(?:,\s*\*)?` 两组均为可选,导致 `Word\s+\d+` 单独即可命中。当 PyMuPDF 把 `Theorem 1`、`Algorithm 2`、`Lemma 3`、`GPT 4 Architecture`、`Llama 2 Variants` 等学术标题/模型名识别为 heading 时,会被 `_byline_to_paragraph` 静默降级为普通段落,丢失标题层级。

收紧为必须紧跟 affiliation 数字串 `(?:,\s*\d+)+` 或通讯作者标记 `,\s*\*` 才匹配,并补充 6 个回归测试覆盖 `Theorem`、`Algorithm`、`Lemma`/`Definition`/`Proposition`、`GPT 4`/`Llama 2`/`Python 3`、`Chapter N`/`Section N` 等场景。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>
@ThreeFish-AI
ThreeFish-AI merged commit 67fedae into feature/1.x.x May 25, 2026
10 checks passed
@ThreeFish-AI
ThreeFish-AI deleted the ThreeFish-AI/pdf-to-markdown-parity-v1 branch May 25, 2026 08:20
ThreeFish-AI added a commit that referenced this pull request Sep 6, 2026
* build(deps): travel-agent-ui 升级 next 16.2.12 并补齐 workspace 隔离声明,修复 9 项 alert;

- next / eslint-config-next 16.2.6 → 16.2.12,核销 Dependabot #574-582:
  SSRF(GHSA-89xv-2m56-2m9x / GHSA-p9j2-gv94-2wf4)、中间件绕过(GHSA-6gpp-xcg3-4w24)、
  Server Actions DoS(GHSA-m99w-x7hq-7vfj)等 9 条;修复门槛为 16.2.11,取 16.2 线
  最新补丁 16.2.12 以多带一版累积修复,不跨 minor 避免无关框架行为变更
- 补齐 `packages: []` 的 pnpm-workspace.yaml——本工程已从根 workspace 解耦但缺失隔离
  声明,是 ISSUE-175 所列同款入口中全仓最后一个敞口。本次恰好改动其 manifest,正是
  事故链第一环(改嵌套 manifest → 顺手 install → 根 lockfile 静默被覆写),故一并钉死
- 本工程无 lockfile、不被任何 workflow 构建,改 manifest 即生效:本批未执行任何
  pnpm install/add/update,根 pnpm-lock.yaml sha1 校验前后一致(06e898b1,13098 行)

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>

* build(deps): 根 workspace 三 importer 升级 next 16.2.12 + faker 10,修复 28 项 alert;

- next / eslint-config-next 16.2.6 → 16.2.12(negentropy-ui / negentropy-wiki /
  cognizes-ui):核销 #583-591 / #592-600 / #565-573 共 27 条,覆盖 SSRF、中间件绕过、
  Server Actions DoS、缓存混淆、Image Optimization DoS 等;修复门槛 16.2.11,取 16.2 线
  最新补丁多带一版累积修复
- @faker-js/faker ^9.0.0 → ^10.5.0(实解 10.6.0),核销 #687GHSA-qxc2-j82w-r537,
  helpers.fake 可被利用为任意代码执行,<=10.4.0 全线受影响故 9.9.0 亦在范围内)。
  跨大版本但唯一调用点 tests/ui/helpers/factory.ts 仅用 string.uuid / person.fullName /
  helpers.arrayElement / date.* / number.int / lorem.*,与 v10 移除清单零交集
- lockfile 完整性核对(ISSUE-175 教训):overrides 块 17 条全在、importers 5 个不变、
  next 两条 @babel/core peer 变体链(7.29.7 / 8.0.1)均保留、`@babel/core` override
  上界 `>=7.29.6 <8.0.0` 未放宽;净减 70 行系 @babel/core 获得 (supports-color) peer
  后缀导致的键合并,非依赖丢失;`pnpm install --frozen-lockfile` 通过

验证:cognizes-ui lint 0 error + tsc --noEmit 通过 + test:coverage 28 passed(含
faker 三个消费测试)+ build 通过;negentropy-ui lint(--max-warnings=0)+ typecheck +
build 通过;negentropy-wiki lint 0 error + build(含 pagefind 索引)通过。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>

* build(deps): cognizes 九包定向升级消 47 项 alert,新增四条传递依赖地板;

- 直接依赖抬地板:pypdf 6.13.3→6.17.0(10 条 DoS/无限循环/内存耗尽)、
  pillow 12.2.0→12.3.0(13 条堆越界写/解压炸弹/命令注入)
- gpu 组抬地板:transformers 5.8.1→5.16.1(CVE-2026-9856 save_pretrained 路径穿越)、
  torch 2.12.0→2.14.0(CVE-2025-3000 torch.jit.script 内存破坏)。无上界阻断:
  sentence-transformers 5.5.0 仅要求 transformers<6.0.0 且不约束 torch
- constraint 抬升 cryptography 49.0.0→50.0.1(GHSA-g6cj-pr64-35w5 Bleichenbacher oracle)
- constraint 新增四条传递依赖地板:gitpython 3.1.50→3.1.61(18 条 git option/配置注入
  RCE 与任意文件读写;travel-agent-demo → streamlit 传递,本仓零 `import git`)、
  pyasn1 0.6.3→0.6.4(3 条 BER/CER/DER 解码器 DoS)、httplib2 0.31.2→0.32.0
  (解压炸弹 DoS)、setuptools 81.0.0→84.0.0(CVE-2026-59890 MANIFEST.in 绕过)
- 定向升级(--upgrade-package ×9)而非全量 --upgrade:lock 仅动 435 行且 docs 组
  零位移(mkdocs/pymdown 变更 0 行),保持可 review 与可归因

验证:ruff check/format 通过(207 文件);pytest tests/unittests/ 225 passed 2 skipped、
覆盖率 30.98% 过 20% 门;uv build + import cognizes 通过;六包运行时版本实测达标。
integration 套件 13 failed/110 passed —— 已用 git stash 在同一环境对拍确认与本次改动
无关(干净树同为 13 failed/110 passed,根因是 TracingManager.span 属性缺失与
tests/integration/mind 下 test_e2e.py 同名 basename 收集冲突,均为既存问题)。

已知验证边界:transformers/torch 的一手调用在 engine/perception/reranker.py,该模块
无单测。已尽力覆盖到 API 契约层——模块本身导入通过,且逐项验证 rerank() 实际调用的
AutoTokenizer/AutoModelForSequenceClassification.from_pretrained、tokenizer 四个 kwargs
(padding/truncation/max_length/return_tensors)、SequenceClassifierOutput.logits 路径与
torch.no_grad/sigmoid 在 5.16.1 下均存在;未验证真实模型推理(需下载 bge-reranker-base)。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>

* build(deps): 删除 cognizes 死配置 docs 依赖组,从根消除 3 项 alert;

- 移除 [dependency-groups] docs(mkdocs / mkdocs-material / mkdocstrings),核销
  #692(mkdocs-material DOM XSS)与 #618/#663(pymdown-extensions 路径穿越 + ReDoS)
- 判定为死配置的三项证据:① 全仓零 mkdocs.yml;② CI 从不安装该组
  (setup-python-uv 仅 `uv sync --group dev`),亦无任何 workflow/脚本引用;
  ③ src/ + tests/ + scripts/ 零 mkdocs 引用。项目文档站实为 negentropy-wiki(Docusaurus)
- 相较升版本,删组从根消除这两个包及其 12 个传递依赖,同类告警不再复发
- lock 为纯删除(-215 行、0 插入),移除项全部属 mkdocs 依赖闭包,无其它包位移

验证:uv sync --frozen --group dev 通过;import cognizes 通过;
pytest tests/unittests/ 225 passed 2 skipped——与删组前逐项一致,佐证该组无运行时作用。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>

* build(deps): negentropy 四包定向升级消 8 项 alert,补 setuptools 传递依赖地板;

- override 抬升 aiohttp 3.14.1→3.14.3:新增修复 GHSA-cq5v-8q36-5273(C 响应解析器
  堆越界读)与 GHSA-mfx4-hv73-q22v / GHSA-mq44-7p77-q5h7(WebSocket 请求走私/未协商
  压缩帧),核销 #641/#643/#645。override 机制不变:microsandbox==0.1.8 锁死 <3.11.0
  仍需强制覆盖,只抬地板版本
- constraint 抬升 cryptography 49.0.0→50.0.1:GHSA-g6cj-pr64-35w5(PKCS#7
  EnvelopedData 解密暴露 Bleichenbacher oracle,high),核销 #648。全仓零一手 import
  (authlib/google-auth/joserfc/presidio/pyjwt/pyopenssl 传递),且 perceives 已在
  50.0.1 上验证过同构依赖者集合
- constraint 抬升 pyasn1 0.6.3→0.6.4:BER/CER/DER 解码器 3 条 DoS
  (GHSA-m4p7-r5rc-7g4j / GHSA-hm4w-wwcw-mr6r / GHSA-8ppf-4f7h-5ppj),核销 #559/#560/#626
- constraint 新增 setuptools>=83.0.0(82.0.1→84.0.0):CVE-2026-59890(MANIFEST.in
  排除规则被 Unicode 归一化绕过),核销 #558。此前无任何声明,经 spacy/thinc 传递
- 定向升级:lock 仅动 6 行;pyopenssl 26.3.0→26.4.0 随 cryptography 联动

验证:alembic 单 head(0099);pytest tests/unit_tests/ 2941 passed、覆盖率 57.04%
过 50% 门;四包 import smoke 版本达标。integration 套件本地 116 failed/115 passed/
90 errors——已对拍干净树基线逐项一致(共享 negentropy_test 累积脏数据所致的既存
环境问题,见记忆 test-db-accumulates;CI 每次起新容器不受影响),与本次改动无关。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>

* build(deps): negentropy mcp 1.26.0→1.29.1,修复 3 项 http-transport alert;

- mcp 地板 >=1.6.0 → >=1.28.1,<2.0.0:核销 #501/#503/#505CVE-2026-52869/52870/
  59950,MCP SDK http-transport 攻击面)。上界 <2.0.0:2.x 拆出 mcp-types/truststore
  属未验证 major 迁移(uv 默认解 2.1.1,已退回 1.x 线);alert 门槛 1.28.1,perceives
  实跑 1.28.1,本批实解 1.29.1(1.x 线最新)。idna 3.16→3.19 随 mcp 子树联动
- 一手调用面 3 处(interface/mcp_client.py 三种传输、knowledge/mcp_server.py 的
  FastMCP/StreamableHTTPSessionManager/TransportSecuritySettings、engine/sandbox/mcp.py),
  依赖要求逐条核对全部满足,与 aiohttp 完全解耦(mcp 走 httpx)

三层验证(对齐 ISSUE-092 的 CVE-2026-4372 验收范式):
① 符号 + 真实构造——stdio 私有 API 7 符号(mcp_client.py 8 处引用)全在;
FastMCP 四 kwargs(stateless_http/json_response/streamable_http_path/transport_security)
真实构造出 Starlette app;get_kb_mcp() 与 sandbox 构造路径不 mock 直接过
② 定向单测 22 用例(test_mcp_client 5 + test_mcp_client_resources 4 +
test_kb_mcp_server 13)全过;全量单测 2941 passed、覆盖率 57.04% 过门(与升级前逐项一致)
③ 真实 MCP 往返(合入前置)——httpx.ASGITransport 直打 create_kb_mcp_asgi_app():
tools/list 返回 200 且含 kb_search 工具清单;错误 bearer 401 拒绝。覆盖单测完全
mock 掉的 StreamableHTTPSessionManager.run() + stateless 路径(1.28+ 改动最多处)

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>

* fix(perceives): 纠偏 transformers/torch/setuptools 锁定根因,裁剪 6 条失效 ignore 并升级 datasets;

- transformers 锁定根因纠偏(pyproject [tool.uv] 注释):旧述「marker-pdf 1.10.2 /
  surya-ocr 0.17.1 在 5.x 崩(transformers.onnx)」已不成立——marker-pdf 2.0.0 /
  surya-ocr 0.22.1 均已适配 transformers>=5.12.1。真实阻断是二者同时要求 pillow<11,
  与本项目 pillow>=12.3.0(修 8 条图像解析 CVE)直接冲突;perceives 直接解析不可信
  PDF/图片故 Pillow 攻击面可达,而 transformers 零直接 import、仅加载第一方 artifact
  故不可达——升级属负收益交换。mineru 3.0.9 的 transformers<5.0.0 仅 vlm/pipeline
  extra 生效,不构成约束
- 解锁条件迁移:从「等 marker/surya 适配 transformers 5.x」改为「等二者放开
  pillow<11 上界」——跟踪对象不同,否则后来者会困惑「已适配为何仍锁」
- torch CVE-2025-3000 纠偏:upstream fix 2.13.0 已发布(原注释「暂无 fix」过时),
  改述为「有 fix 但受 marker/surya/docling-ibm-models/torchvision 四方联动约束」
- setuptools pin 注释纠偏:原述「undetected-chromedriver 依赖 pkg_resources」已证伪
  ——实测 82.0.1 与 83.0.0 皆无 pkg_resources(上游早于 82 移除,复核 ISSUE-092
  隔离结论)。维持 82.0.1:不为不可达 build-time 低危变更 build 后端版本
- 裁剪 6 条失效 ignore:fastmcp(CVE-2025-64340/CVE-2026-27124)与 litellm
  (CVE-2026-35029/35030、GHSA-69x8-hrgq-fjj8CVE-2026-42271)注释停留在 3.1.1/1.80.0,
  实锁已 3.2.4/1.85.0。实跑 pip-audit 确认两包零命中后删除,非凭版本号推断
- datasets 4.8.5→5.0.1:本次裁剪后暴露的新 advisory CVE-2026-66007(PYSEC-2026-3716,
  folder-based dataset builder 路径穿越任意文件读)。mlx-vlm 仅要求 >=2.19.1 无上界,
  故直接升级而非新增 ignore 债

验证:ignore 数组经 bash -n 语法校验(56 条);以 CI 原样命令复跑 pip-audit
退出 0——「No known vulnerabilities found, 10 ignored」;CI 参数复跑测试
(-n auto -m "not slow")2130 passed,docling/mineru/marker 三引擎 worker 均真实
启动;mlx-vlm 在 datasets 5.0.1 下 import 通过。3 个 test_config 失败已对拍干净树
基线一致(本地 .env 使 concurrent_requests=32≠默认 16,CI 无该文件),与本次无关。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>

* docs(issue): ISSUE-092 增补 perceives 4 条 dismiss 依据与 transformers 解锁条件迁移;

- 记录 104 条 alert 人工核销的收口:100 条经升级消除,perceives 4 条走 dismiss
- transformers 锁定根因纠偏:marker-pdf 2.0.0 / surya-ocr 0.22.1 已适配
  transformers>=5.12.1(旧「transformers.onnx 崩溃」不再成立),真实阻断是二者
  要求 pillow<11 与本项目 pillow>=12.3.0 冲突;附攻击面可达性对比论证
  (Pillow 可达 vs transformers 不可达)说明升级为负收益交换
- 解锁条件从「等适配 transformers 5.x」迁移为「等放开 pillow<11 上界」,
  避免后来者按旧条件追踪而困惑
- torch CVE-2025-3000 状态迁移留档:upstream fix 2.13.0 已发布,原「暂无 fix」
  记录作废;此例印证本 Issue 既有防范条款「四元注释便于季度 review 识别可移除项」
- 记录本次 ignore 清单 review 结果(62→56 条)与 datasets 升级替代新增 ignore 的处理
- 沉淀三条方法论:「上游已适配≠可升级」须核对全部约束维度、安全债决策应比较
  攻击面可达性而非 CVSS 分数、ignore 注释的「阻断原因」腐化快于 CVE 本身

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>

* fix(travel-agent-ui): 补 allowBuilds 修复隔离 workspace 下 pnpm install 退出 1;

上一提交把本工程钉成独立 pnpm workspace 根以阻断根 lockfile 覆写,但漏声明
allowBuilds——原生构建许可原本继承自根 workspace,隔离后不再传递。

实测(pnpm 12.2.1,本目录完整 pnpm install):Error: ERR_PNPM_IGNORED_BUILDS,
被拦 @scarf/scarf / esbuild / sharp / unrs-resolver,退出码 1,且 pnpm 会往
pnpm-workspace.yaml 回写 "set this to true or false" 占位;根 pnpm-workspace.yaml
所载的 `cd … && pnpm install && pnpm dev` 因此卡在第一步。

注:作者侧大概率以 --lockfile-only 验证,该模式不执行构建脚本故退出 0,恰好掩盖此失败。

- 补齐四条许可,取值与根 workspace 一致(@scarf/scarf 保持 false,同为隐私考虑)
- 未纳入根侧 msw:本工程不依赖,遵循最小声明
- 注释指向修正:原「运行方式见同目录 README.md」——该 README 为 create-next-app
  原始样板,无 install 步骤亦未提隔离 workspace,改为就地写明安装运行命令

验证:修复后 pnpm install 退出 0、IGNORED_BUILDS 零命中;根 pnpm-lock.yaml 逐字节未变,
隔离目标保持有效;YAML 解析通过。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>

* docs(perceives): 同步 pip-audit ignore 注释至纠偏后口径并订正 ISSUE-092 计数;

本分支已论证 transformers 锁定 <5.0.0 的真实阻断是 marker-pdf 2.0.0 / surya 0.22.1
要求 pillow<11,而非旧记的「marker-pdf / docling 兼容交集」;setuptools 保持 82.0.1
的理由亦已由「undetected-chromedriver 依赖 pkg_resources」改写为「已证伪」。但 CI
ignore 清单中的四处注释仍停留在旧口径,与 pyproject、issue.md 相互矛盾。

CVE-2026-9856 条已承载完整根因,其余三处改为指针式引用,避免同一结论多处维护:

- PYSEC-2025-211..218 / CVE-2026-4372 / PYSEC-2026-2290:删除「docling 兼容交集」
  归因,统一指向 CVE-2026-9856 条;CVE-2026-4372 的「待交集支持 5.3.0+ 后升级」
  同步改为「待 marker-pdf / surya 放开 pillow<11 上界」
- PYSEC-2026-3447:交叉引用由「见 pyproject,undetected-chromedriver 相关」改为
  「见 pyproject setuptools 注释与 ISSUE-092 2026-09-06 增补」——照旧文跳转只会
  读到相反结论
- ISSUE-092:「ignore 条目 62→56」订正为 34→28。negentropy-perceives-ci.yml 是
  全仓唯一 --ignore-vuln 来源,实测本分支前 34 条、后 28 条(差值 6 正确,绝对值错位)

纯注释与文档变更,ignore 条目与 pip-audit 行为零改动。验证:YAML 解析通过;
--ignore-vuln 实测 28 条,与订正后的 issue.md 记载一致;注释行宽与既有块保持齐平。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant