Repository navigation
AMD Radeon 780M 原生运行 PP-OCRv6 medium:从 2.76 秒到 0.66 秒的优化与稳定性实践 #18437
chengjie
started this conversation in
Show and tell
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
分享背景与结论
分享一次在 AMD Radeon 780M(gfx1103)NAS 上运行 PP-OCRv6_medium_rec 的部署经历:从 GPU 比 CPU 慢、兼容模式退出异常,调整到原生 gfx1103 推理,最终将业务处理热态中位数从约 2.76 秒降到 0.66 秒,并完成 30 分钟、2,683 次串行 HTTP 识别测试。
范围说明:这是“固定版式发票字段裁剪 + 文字识别模型 + 自定义结构化 JSON”的应用,不包含通用文字检测或版面分析。单张样票产生 26 个裁剪块。下列耗时不是完整 PP-OCR 通用流水线的官方性能,也不能与官方单裁剪块模型延迟直接对比。
GPU 路径是 Paddle 模型经 Paddle2ONNX 导出后,由 ONNX Runtime + MIGraphX 执行;不是 PaddlePaddle GPU 原生执行。模型保持 medium 原权重和 FP32,没有改用 small、FP16 或 INT8。本帖属于部署经验分享,不将尚未定位的问题归因于 PaddleOCR。
1. 测试环境
实测日期:2026-11-07 至 2026-11-09。
--optimize_tool None/dev/kfd与/dev/drirocm-sdk-device-gfx11032.18.0+rocm10.1.0onnxruntime==1.29.0,onnxruntime-ep-migraphx==1.0.0+rocm10.1.0实验 ONNX 文件 SHA-256:
56e6f3a59134df77e4864b1777ddacbd9f8f35553ca2f1d22b17bd7832f6df9b。该值用于标识此次导出产物,不保证其他工具版本重新导出的文件具有相同哈希。CPU 和 GPU 环境的 Python、OpenCV 等版本不同,因此跨后端表格是应用部署对照,不是只改变执行 provider 的严格同环境实验。
2. 调试中遇到的问题
旧运行时的兼容模式:能识别不等于可上线
早期 ROCm 6.4.2 / ORT 1.21 路径在原生 gfx1103 上遇到 rocBLAS TensileLibrary 缺失。设置
HSA_OVERRIDE_GFX_VERSION=11.0.0后曾获得约 0.76 秒的样票耗时,但两轮测试都在退出阶段出现:进程退出码为 134,故放弃此路径;根因没有定位,不建议仅凭较快的短测成绩采用该配置。最终方案没有设置
HSA_OVERRIDE_GFX_VERSION。原生路径仍需同时检查宿主机驱动与运行时
切换原生 gfx1103 软件包后,默认 MLIR 路径的动态宽度实验超过 600 秒仍未完成。采用下面两个设置后才取得可用的固定形状结果:
这只是此次模型、设备、软件版本组合的实测配置,不是所有 AMD GPU 的通用最佳参数。
旧宿主机内核下,固定宽度实验连续完成 14 张后出现 HIP failure 719,内核同时记录:
升级宿主机系统后,该问题在后续 31 次复测及 30 分钟测试中未复现。但固件没有同步更新到一个已确认修复版本,也没有进行严格单变量对照;不能据此认定“升级内核已经彻底修复”,更不能直接归因为 PaddleOCR 模型缺陷。
3. 为什么一开始 GPU 比 CPU 慢
为了控制编译次数,最初把所有字段都补齐到宽度 2048,batch size 为 1。样票中很多短字段仅需要宽度 320,统一补齐导致大量无用计算。
最终采用有限宽度桶:
保留既有缩放、归一化和 CTC 解码方式,不降低字符有效内容的分辨率。此次样票实际使用前三种宽度;3200 桶仅做了启动预热与空白图 CPU/GPU 对照,尚不能视为已覆盖真实超长字段。
不同 padding 宽度仍可能改变模型预测或置信度,不能把这项优化称为对所有输入数学等价。 需要用自己的真实样本验证。
另一个明显开销在自定义 CPU 预处理
我们的应用用 RGB 阈值生成黑色文字掩码,这一步不是 PaddleOCR 内部实现。原 NumPy 写法在样票上约需 0.285 秒:
在输入为
uint8 RGB的前提下,改成 OpenCV 通道极值:掩码步骤降到约 0.0038 秒;原图、超过百万个随机像素及阈值边界测试均逐像素相同。此优化也使 CPU 整票处理由约 1.51 秒降到 1.23 秒。
4. 热态性能结果
均使用同一样票;直接处理耗时包括本地图片读取、预处理、26 个字段识别、解码和 JSON 提取,排除首次编译/预热及网络上传。
优化后的 GPU 相比原固定宽度 GPU 约快 4.2 倍,相比优化后的 CPU 约快 1.85 倍。31 次 GPU 实验的 ORT profile 记录了 806 个 MIGraphXExecutionProvider 执行事件(26 × 31),用于确认实际执行后端,而不只检查会话打印的 provider 名称。正式常驻服务关闭 profiling,避免持续产生记录。
首次 API 启动仍约需 5 分钟,用于多个宽度会话的编译和预热;其中 3200 桶一次编译约 166 秒。冷启动、热态处理和浏览器上传总耗时必须分开报告。
5. 没有采用的优化:批量与图内输出精简
曾尝试短字段 batch=8、中等宽度 batch=4,以及在 ONNX 图中加入 ArgMax/ReduceMax,减少大词表概率输出的传输量。
在此次导出产物和执行栈组合下观察到:
尚未定位是导出图的批量/形状假设、图改写,还是 ORT 插件/MIGraphX 的问题,因此这些不是已确认的 PaddleOCR 或 MIGraphX bug。 最终保留 batch=1 和原始概率输出。
这里一个容易误判的现象是:某次实验完整 JSON 看似全对,但实际上每张票触发了 20 次 CPU 重试。只有同时检查 GPU 原始输出、CPU 重试次数及 provider profile,才能避免把“回退修好了结果”当成“GPU 优化成功”。
6. 最小配置与校验方式
模型准备采用前述 Paddle2ONNX 导出参数;各宽度实例只固定输入维度,不改权重。原生 EP 注册的核心代码如下(不是包含字段裁剪的完整应用):
对同一份预处理后的张量,另外用原始 ONNX 的 CPUExecutionProvider 推理,检查:
这是此次验收采用的字符索引与置信度对照,不是所有概率元素逐位一致的证明。随后还需对解码文本、业务字段、金额校验及完整 JSON 做对照。样票前三种宽度通过了实际字段对照,服务启动预热也对各形状做了空白图对照。
本文不附真实发票及其 JSON 内容,因此无法仅凭本帖复现相同的整票时间;请使用自己的非敏感票样/字段裁剪建立基线。本帖给出的是配置、测量方法和已观察到的结果,不是完整公开 benchmark 数据集。
7. 持续运行与服务回退
最终进行串行、持续 HTTP 请求测试,每次完整 JSON 与预先核对的样票参考值比较:
测试前后未发现 MES 超时或 GPU reset,服务日志未发现 HIP failure 或异常堆栈。它说明该配置通过了这次 单样票、30 分钟重复执行验收,不代表通用准确率、24 小时稳定性或驱动问题已经根治。上面的“0 字段 CPU 重试”有单独 31 次实验的计数支持,不应擅自扩展为 2,683 次长测逐字段回退计数结论。
实际服务拆成网关、常驻 GPU、常驻 CPU 三部分。低置信度字段保留原宽度 CPU 复核;GPU 进程不可用、HTTP 500 或请求超过 10 秒时,网关用独立 CPU 重试整票,断路 60 秒后再尝试 GPU。通过隔离 HTTP 故障源验证了连接失败、500、超时回退及自动恢复,没有为故障注入去杀死长测中的 GPU 进程。
8. 一个 NAS 内存观察提醒
后续看到主机内存占用很高时,三个 OCR 容器实际只占约 2.8 GiB,主要占用来自约 19.6 GiB 的 ZFS ARC 文件缓存。限制 ARC 为 8 GiB 后,主机可用内存约从 2.7 GiB 升至 14.3 GiB,OCR 结果及热态速度保持正常。
这与 OCR 模型优化不是同一件事:需要区分进程/容器内存、GPU 共享内存和文件系统缓存,也不能把 Docker 内存限额当作实际占用。8 GiB 是本机混合负载的取舍,不是对所有 ZFS NAS 的建议。
希望交流的方向
希望这次经历能帮助同类设备用户少走一些弯路,也欢迎维护者指出测试方法或配置中的问题。
All reactions