mineru-api 支持在同一张昇腾910B上用同一个服务端口启动多实例吗

[ActLan]

环境：昇腾910B + miner2.6.2 + vllm-ascend 0.10.2 （quay.io/ascend/vllm-ascend:v0.10.2rc1）
环境变量：export MINERU_DEVICE_MODE=npu
export VLLM_USE_V1=1
export MINERU_ENGINE_MODE=vlm-vllm-async-engine
export ASCEND_RT_VISIBLE_DEVICES=7
export MINERU_MODEL_SOURCE=local
export NPU_VISIBLE_DEVICES=7

启动：nohup mineru-api --host 0.0.0.0 --port 8779 >output.log 2>&1 & 该如何提高性能以及增加并发能力，目前用fastapi的服务化接口，backend使用pipeline 我实测并不是异步的，vlm-vllm-async-engine解析也比较慢

[dosubot[bot]]

Hi @ActLan! I'm Dosu and I’m helping the MinerU team.

mineru-api 不支持在同一张昇腾910B上用同一个服务端口启动多实例，服务端口无法被多个进程共享，除非通过代理或负载均衡器做连接复用。多实例部署建议每个 mineru-api 实例使用不同端口，并通过环境变量（如 ASCEND_RT_VISIBLE_DEVICES、NPU_VISIBLE_DEVICES）分配独立设备资源，避免资源冲突。参考

性能和并发提升建议：

1. 设置环境变量 MINERU_MIN_BATCH_INFERENCE_SIZE 和 max_concurrency（如 100~200），提升吞吐量。参考
2. 推荐多进程并发，每个进程独占显存，避免多线程/协程争用同一实例。参考
3. pipeline 后端本身不是异步，FastAPI 的 async 仅提升接口响应，实际推理仍是同步阻塞。vlm-vllm-async-engine 虽支持异步，但在昇腾910B上解析速度受限于硬件和后端优化，且 FlashAttention 不支持，会回退到 PyTorch 原生 attention，性能低于 GPU。参考
4. vllm-vllm-async-engine 推荐作为独立服务部署（mineru-vllm-server + mineru-api），API 通过 HTTP client 方式调用，稳定性和并发更高。参考
5. 可调优参数包括 data parallel size、gpu_memory_utilization、max_num_seqs、max_num_batched_tokens 等，具体数值需结合实际显存和任务规模测试。参考

如果需要企业级异步高并发和多卡负载均衡，可参考 MinerU Tianshu 项目，支持异步任务队列、GPU自动调度和多实例并发。参考

如需具体参数建议或批量处理脚本，可补充说明实际任务规模和瓶颈环节。

To reply, just mention @dosu.

---

Docs are dead. Just use Dosu.

[myhloli]

新版本已支持昇腾部署，可以看下这个方案https://opendatalab.github.io/MinerU/zh/usage/acceleration_cards/Ascend/