mineru 2.0.5版本 ocr-det ch阶段没有使用gpu加速

[zslali]

我按照之前issue#3285的回复，盘查问题。我现在没有用fastapi+uvicorn,我使用pipeline解析策略，并且显现配置了环境变量
os.environ['MINERU_MODEL_SOURCE'] = "local" # 配置文件位置/root/mineru.json
os.environ['MINERU_DEVICE_MODE'] = "cuda"，
以下是我的代码：
import os
import tempfile
from pathlib import Path
import uuid

from mineru.cli.common import prepare_env, read_fn
from mineru.data.data_reader_writer import FileBasedDataWriter
from mineru.utils.enum_class import MakeMode
from mineru.backend.pipeline.pipeline_analyze import doc_analyze as pipeline_doc_analyze
from mineru.backend.pipeline.model_json_to_middle_json import result_to_middle_json as pipeline_result_to_middle_json
from mineru.backend.pipeline.pipeline_middle_json_mkcontent import union_make as pipeline_union_make

pdf_extensions = [".pdf"]
image_extensions = [".png", ".jpg", ".jpeg"]

文档解析方法

def process_file(
file_bytes: bytes,
file_name: str,
) -> list:
"""
Process PDF file content

Args:
    file_bytes: Binary content of file
    file_name: file name
    parse_method: vlm
    image_writer: Image writer

Returns:
    content_list: Content list
    middle_json_content: Middle json content
"""
os.environ['MINERU_MODEL_SOURCE'] = "local"  # 配置文件位置/root/mineru.json
os.environ['MINERU_DEVICE_MODE'] = "cuda"

# 打印所有环境变量（键值对）
for key, value in os.environ.items():
    print(f"{key}={value}")

temp_dir = tempfile.gettempdir()
if str(Path(file_name).suffix) == ".pdf":
    file_name_stem = str(Path(file_name).stem) +"_"+"pdf"+"_"+ uuid.uuid4().hex
    file_name_temp = file_name_stem + ".pdf"
else:
    file_name_stem = str(Path(file_name).stem) +"_"+"visual"+"_"+ uuid.uuid4().hex
    file_name_temp = file_name_stem + str(Path(file_name).suffix)

output_dir = os.path.join(temp_dir, file_name_stem) # 解析结果存放位置
tmp_file_path = os.path.join(temp_dir, file_name_temp) #临时文件存放位置
os.makedirs(output_dir, exist_ok=True)

with open(tmp_file_path, "wb") as f:
    f.write(file_bytes)

pdf_bytes_list = []
p_lang_list = []
data_bytes = read_fn(tmp_file_path)  # 读取文档
pdf_bytes_list.append(data_bytes)
p_lang_list.append("ch")


infer_results, all_image_lists, all_pdf_docs, lang_list, ocr_enabled_list = pipeline_doc_analyze(
            pdf_bytes_list, p_lang_list, parse_method="ocr", formula_enable=True,
            table_enable=True)

content_list = []
for idx, model_list in enumerate(infer_results):
    local_image_dir, local_md_dir = prepare_env(output_dir, file_name_stem, "ocr")
    image_writer, md_writer = FileBasedDataWriter(local_image_dir), FileBasedDataWriter(local_md_dir)

    images_list = all_image_lists[idx]
    pdf_doc = all_pdf_docs[idx]
    _lang = lang_list[idx]
    _ocr_enable = ocr_enabled_list[idx]
    middle_json_content = pipeline_result_to_middle_json(model_list, images_list, pdf_doc, image_writer, _lang,
                                                    _ocr_enable, True)

    pdf_info = middle_json_content["pdf_info"]
    image_dir = str(os.path.basename(local_image_dir))
    content_list = pipeline_union_make(pdf_info, MakeMode.CONTENT_LIST, image_dir)

pdf_bytes_list.clear()
p_lang_list.clear()
return content_list, middle_json_content

def file_parse(
filepath: str
):
"""
Execute the process of converting PDF to JSON and MD, outputting MD and JSON files
to the specified directory.

Args:
    file: The PDF file to be parsed. Must not be specified together with
        `file_path`
"""
file_name = os.path.basename(filepath)
with open(filepath, "rb") as f:
    file_content = f.read()
# Process PDF
content_list, middle_json_content = process_file(file_content, file_name)
return content_list, middle_json_content

if name == "main":
file_path = "/app/3333.pdf"
content_list, middle_json_content = file_parse(file_path)
print(f"content_list:{content_list}")
print(f"middle_json_content:{middle_json_content}")

并且在测试的时候，打印出来的环境变量如下：
SHELL=/bin/bash
COLORTERM=truecolor
PYTHON_SHA256=ae665bc678abd9ab6a6e1573d2481625a53719bc517e9a634ed2b9fefae3817f
PYTHONUNBUFFERED=1
TERM_PROGRAM_VERSION=1.85.2
HOSTNAME=bea671b3fe0c
PYTHON_VERSION=3.10.18
SSH_AUTH_SOCK=/tmp/vscode-ssh-auth-d0c10770-f0fe-42d6-b784-64298613cf28.sock
REMOTE_CONTAINERS_IPC=/tmp/vscode-remote-containers-ipc-d0c10770-f0fe-42d6-b784-64298613cf28.sock
PWD=/app
HOME=/root
LANG=C.UTF-8
VIRTUAL_ENV=/app/venv
REMOTE_CONTAINERS=true
GPG_KEY=A035C8C19219BA821ECEA86B64E628F8D684696D
TERM=xterm-256color
REMOTE_CONTAINERS_SOCKETS=["/tmp/vscode-ssh-auth-d0c10770-f0fe-42d6-b784-64298613cf28.sock"]
PIP_DISABLE_PIP_VERSION_CHECK=1
SHLVL=2
VIRTUAL_ENV_PROMPT=(venv)
PYTHONDONTWRITEBYTECODE=1
PS1=(venv) ${debian_chroot:+($debian_chroot)}\u@\h:\w$
BROWSER=/root/.vscode-server/bin/8b3775030ed1a69b13e4f4c628c612102e30a681/bin/helpers/browser.sh
PATH=/app/venv/bin:/root/.vscode-server/bin/8b3775030ed1a69b13e4f4c628c612102e30a681/bin/remote-cli:/usr/local/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
PIP_NO_CACHE_DIR=1
DEBIAN_FRONTEND=noninteractive
TERM_PROGRAM=vscode
VSCODE_IPC_HOOK_CLI=/tmp/vscode-ipc-e6ad6fee-d6a1-4105-ab62-bb7e5511b7a4.sock
_=/usr/bin/env
OLDPWD=/app
PYTHONIOENCODING=UTF-8
PYDEVD_USE_FRAME_EVAL=NO
QT_QPA_PLATFORM_PLUGIN_PATH=/app/venv/lib/python3.10/site-packages/cv2/qt/plugins
QT_QPA_FONTDIR=/app/venv/lib/python3.10/site-packages/cv2/qt/fonts
LD_LIBRARY_PATH=/app/venv/lib/python3.10/site-packages/cv2/../../lib64:
NUMEXPR_MAX_THREADS=8
CUBLAS_WORKSPACE_CONFIG=:4096:8
TF_CPP_MIN_LOG_LEVEL=3
OMP_NUM_THREADS=1
TORCH_CPP_LOG_LEVEL=ERROR
KINETO_LOG_LEVEL=5
PYTORCH_ENABLE_MPS_FALLBACK=1
NO_ALBUMENTATIONS_UPDATE=1
FTLANG_CACHE=/app/venv/lib/python3.10/site-packages/mineru/resources/fasttext-langdetect
MINERU_MODEL_SOURCE=local
MINERU_DEVICE_MODE=cuda

[zslali]

这个是测试过程

[zslali]

这个bug很影响使用，希望官方可以给出解决方法 谢谢

[dosubot[bot]]

不会有影响，这样配置是正确的。Docker 的 --gpus='device=1' 只把主机的第 1 号 GPU 映射到容器里，容器内 nvidia-smi 看到的 GPU 设备号就是 0。此时 MINERU_DEVICE_MODE='cuda:0' 和 CUDA_VISIBLE_DEVICES='0' 都指向容器内的 0 号卡，也就是主机的 1 号卡。只要三者保持一致，MinerU 就会用上你期望的 GPU，不会出现设备号错位或推理异常。

需要注意的是，如果 MINERU_DEVICE_MODE 设置成 'cuda:1'，但容器内只有 0 号卡，会直接报错或无法用 GPU，不会自动 fallback 或 remap 参考。所以只要你现在这样配置，OCR-det 阶段就能用上 GPU。每次变更 Docker --gpus 参数后，建议用 nvidia-smi 和 python -c "import torch; print(torch.cuda.is_available())" 检查下容器内的设备号和可用性即可。

To reply, just mention @dosu.

---

Docs are dead. Just use Dosu.

[zslali]

但是仍没有使用gpu

[zslali]

OCR-det 阶段的详细日志在什么位置呢？

[dosubot[bot]]

OCR-det 阶段的详细日志默认是通过 loguru logger 输出到控制台（stdout），没有专门的日志文件，除非你在 loguru 配置里主动指定了文件输出。你可以在终端直接看到模型初始化、设备分配（如 device/cuda/cpu）、批量处理（batch）、显存（gpu_memory）、推理进度等相关日志信息，比如 model init cost、gpu_memory: xx GB, batch_ratio: xx、Batch x/y、以及 OCR 检测置信度等内容。相关代码示例

如果你想看到更详细的 debug 日志，可以在 mineru/model/ocr/paddleocr2pytorch/pytorch_paddle.py 里把 logger.debug 相关的注释去掉，或者在主程序里设置 loguru 的日志等级为 DEBUG（比如 logger.level("DEBUG")），这样会输出更多关于检测框数量、耗时、无效图片等细节。相关实现

如果需要将日志重定向到文件，可以在你的主入口脚本里用 loguru 的 add 方法，比如 logger.add("mineru.log")，这样所有日志会同时输出到 mineru.log 文件和控制台。

排查 GPU 是否被用到时，建议关注日志中包含 device、cuda、cpu 关键字的 info/debug 行，通常会在模型初始化和 batch_image_analyze 环节输出。mineru.json 不影响日志输出位置，日志输出完全由 loguru 配置决定。

To reply, just mention @dosu.

---

Docs are dead. Just use Dosu.

[zslali]

我在mineru/model/ocr/paddleocr2pytorch/pytorch_paddle.py 中添加日志

测试打印的日志信息如下：

还是没有走gpu

[zslali]

终于解决这个问题了：ocr-det ch阶段不使用gpu加速。原因：
1.mineru2.0.5存在ocr det不使用gpu的问题，需要升级到>=2.1.2
2.pytorch需要安装与cuda11.8对应的版本，使用pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu118命令安装torch

[zslali]

终于解决这个问题了：ocr-det ch阶段不使用gpu加速。原因：
1.mineru2.0.5存在ocr det不使用gpu的问题，需要升级到>=2.1.2
2.pytorch需要安装与cuda11.8对应的版本，使用pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu118命令安装torch

[JackieLing]

大佬，有联系方式可以加了问一下吗？遇到同样的问题了

[myhloli]

#3285