PPStructure V3 怎么支持并发部署

[wei-ma]

并发部署， 一个大图推理用了 11G

[wei-ma]

paddle 推理

[vectornguyen76]

并发要靠多开实例，一个实例内部基本是串行的。每个实例都要单独占一份显存，所以先把单实例的显存压下来，再算一张卡能放几个。

1. 基础服务化（paddlex --serve）默认串行

同一进程内的产线调用会进一个队列，由单个线程依次执行，开关是环境变量 PADDLE_PDX_SERVING_SERIAL_PIPELINE_CALLS，默认 True（flags.py，_app.py）。代码注释说明这是为了绕开 Paddle Inference 的一个 bug，所以我不建议关掉。以上是当前 PaddleX 主分支的行为，你装的版本可能不同。要并发，就起多个进程（不同端口或不同 --device），前面挂一个负载均衡。

2. 高稳定性服务化（Triton）直接配实例数

PP-StructureV3 的 SDK 里 server/model_repo/layout-parsing/config_gpu.pbtxt 默认 count: 1（pbtxt），改成比如：

instance_group [
  { count: 2  kind: KIND_GPU  gpus: [ 0 ] }
]

说明见 PaddleX 服务化部署 2.2 节。

3. 降低单实例显存

用 paddlex --get_pipeline_config PP-StructureV3 导出配置，然后：

• 关掉用不到的子产线：use_formula_recognition、use_table_recognition 默认是 True，use_seal_recognition、use_chart_recognition 默认是 False（配置）；
• 把各子模块的 batch_size: 8 调小，batch 越大峰值显存越高。

改完先单实例压测，记下峰值显存，再按 显存 / 峰值 决定 count。我没在你的卡上实测过具体数字，以实测为准。