如何降低和固定显存使用？

[ojslee]

我有一张4090 24G显卡，几个服务同时在用，仅剩10G显存，如何设置固定10G显存使用

[dosubot[bot]]

针对你的场景（4090 24G，仅剩 10G 可用），可以通过以下方式控制 MinerU 的显存使用：

1. Pipeline 后端 — 设置虚拟显存上限：

export MINERU_VIRTUAL_VRAM_SIZE=10

此参数仅对 pipeline 后端生效 [1]。

2. VLM 后端 — 降低 vLLM 显存占用比例：
默认值为 0.5（即占用 50% 总显存≈12G），你可以降低到 0.3~0.4 使其控制在 10G 以内 [1]：

--gpu-memory-utilization 0.35

启动 vLLM server 时使用：mineru-vllm-server --gpu-memory-utilization 0.35

3. Hybrid 后端 — 调整批处理比例：

export MINERU_HYBRID_BATCH_RATIO=8

值越小，单次处理批量越小，显存占用越低 [2]。

4. 通用优化：

# 改善显存碎片化
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True

# 如果显存仍然不够，可强制使用更轻量的 pipeline 模式
export MINERU_HYBRID_FORCE_PIPELINE_ENABLE=true

推荐组合（10G 可用显存）：

• 如果使用 VLM/hybrid 后端：设置 --gpu-memory-utilization 0.35，这样 vLLM 预分配约 24*0.35≈8.4G，留有余量
• 如果使用 pipeline 后端：设置 MINERU_VIRTUAL_VRAM_SIZE=10

注意：vLLM 会在启动时一次性预分配显存（而非按需增长），所以设置合理的 gpu-memory-utilization 值是最关键的控制手段 [3]。

To reply, just mention @dosu.

---

Docs are dead. Just use Dosu.