布局检测用PP-DocLayoutV3，推理用vllm可行吗

[fengfeng23]

布局检测用PP-DocLayoutV3，推理用vllm可行吗

[dosubot[bot]]

@fengfeng23

关于 vLLM：MinerU 已经完整支持 vLLM 作为推理后端（包括同步和异步两种模式），在 Linux 上是推荐的生产环境推理引擎 [1]。安装时使用 mineru[core,vllm] 即可 [2]。

关于 PP-DocLayoutV3：目前 MinerU 代码中仅支持 PP-DocLayoutV2，没有 PP-DocLayoutV3 的集成 [3]。布局检测使用的是 PP-DocLayoutV2（基于 RT-DETR 检测头 + HGNet-v2 骨干网络）[4]。

总结：

• 推理用 vLLM ✅ 可行，MinerU 原生支持
• 布局检测用 PP-DocLayoutV3 ❌ 目前不支持，只支持 V2

需要注意的是，vLLM 后端目前仅支持中英文文档，且需要 CUDA ≥ 12.8 和 Volta 架构以上的 GPU [5]。如果你需要使用 PP-DocLayoutV3，可能需要等待官方后续更新或自行适配集成。

To reply, just mention @dosu.

---

Share context across your team and agents. Try Dosu.

[dosubot[bot]]

@fengfeng23

理解你的想法——用更快的布局检测模型（PP-DocLayoutV3）替代 VLM 的布局部分，只让 vLLM 做内容识别，从而提升整体速度。

目前的情况：

1. PP-DocLayoutV3 尚未被 MinerU 支持，代码中没有任何相关引用或适配 [1]。

2. Hybrid 模式的布局检测模块是硬编码的，使用 PPDocLayoutV2LayoutModel 单例模式，没有抽象接口可以直接替换为其他模型 [2]。

3. 速度瓶颈确实在 VLM 推理上——V100 上平均 5.5 秒/页 [3]，所以你的思路（用轻量布局模型 + vLLM 只做识别）方向是合理的。

可行的替代方案：

• 有维护者确认过，将 pipeline 的布局检测与 VLM 的内容识别组合在技术上是可行的，但需要自行修改代码 [4]。思路是：用 pipeline 模式做布局检测并保存裁剪的区域图片，然后用 VLM 对这些图片做内容识别。

• 如果你想在不改代码的前提下加速，可以优化 vLLM 部署参数：确保 flash-attn 安装正确、设置 --gpu-memory-utilization 0.7~0.85、--max-concurrency 10~100、MINERU_MIN_BATCH_INFERENCE_SIZE=384 等 [3]。

总结：你的想法在技术方向上是合理的，但目前 MinerU 没有原生支持 PP-DocLayoutV3，也没有模块化的布局模型接口可以直接替换。如果要实现这个方案，需要修改 hybrid 后端代码来适配。

To reply, just mention @dosu.

---

Share context across your team and agents. Try Dosu.

[fengfeng23]

终于发现你是机器人了，帮我找找维护者确认过的讨论或issue

[dosubot[bot]]

@fengfeng23

哈哈是的，我是机器人 🤖。这是相关的讨论：

Issue #2710: #2710 [1]

用户 @zakir0101 提出 VLM 模式的布局检测存在误检问题（正常文本被识别为表格、段落被误判为公式等），建议用 pipeline 的布局检测 + VLM 的内容识别。

维护者 @seedclaimer 回复确认了这个方案可行：

"I already am trying that, pipeline for table det and vlm for table rec. You may try modifying pipeline to save layout images instead of continuing ocr-rec. Then vlm rec images saved. VLM model takes images for input only."

大意是：他已经在尝试这种方式（pipeline 做表格检测 + VLM 做表格识别），建议修改 pipeline 代码，将布局检测后的区域图片保存下来，再交给 VLM 模型做内容识别。

不过这个方案目前仍需自行修改代码，还没有作为官方配置选项提供。

To reply, just mention @dosu.

---

Docs are dead. Just use Dosu.

[fengfeng23]

结合效果不好，如何加快vllm做layout时的速度

[dosubot[bot]]

@fengfeng23

了解，那就直接优化 vLLM 做布局+识别时的速度。以下是几个关键调优方向：

1. 重新开启被默认关闭的加速选项（影响最大）

MinerU 2.7.6 为了降低显存占用（从 16GB 降到 6GB）默认关闭了这两个优化，但它们对速度影响很大 [1]：

--enable-chunked-prefill
--enable-prefix-caching

如果你显存够用（≥16GB），建议重新开启。

2. 调高 GPU 显存利用率

默认值是 0.5，可以提升到 0.7~0.8 [1]：

--gpu-memory-utilization 0.7

注意不要超过 0.8，单卡高并发时容易 OOM [2]。

3. 启用 vLLM v1 模式（适用于 compute capability ≥ 8.0 的显卡，如 A100/3090/4090）

export VLLM_USE_V1=1
export OMP_NUM_THREADS=1

[2]

4. 使用 HTTP 双进程部署

将 VLM 推理服务独立部署（mineru-vllm-server），MinerU 通过 vlm-http-client 连接，这样模型只加载一次，资源利用更高效 [1]。

5. 多卡部署

如果有多张 GPU，可以分别启动多个实例 [3]：

CUDA_VISIBLE_DEVICES=0 mineru-openai-server --port 30000
CUDA_VISIBLE_DEVICES=1 mineru-openai-server --port 30001

6. 调整批处理参数

根据显存自动调整的 batch_size：≥16GB 为 8，8-16GB 为 4 [4]。如果你显存充裕但速度仍慢，可通过 MINERU_HYBRID_BATCH_RATIO 环境变量调大批处理比例 [5]。

总结优先级：开启 chunked-prefill + prefix-caching > 提高 gpu-memory-utilization > VLLM_USE_V1 > 双进程/多卡部署。

To reply, just mention @dosu.

---

Share context across your team and agents. Try Dosu.