onnxruntime CPU加速

[chocolate-byte]

我训练过一个类似的mobilenet模型，但是一帧400x300图像cpu速度在100ms左右，想问一下有人知道想做到类似引用中这种速度有什么参考的方法吗，onnx和多线程模型加速确实会有效果但是应该没有这么快到7ms的吧

对比过 onnxruntime 和 pytorch ，ORT 的 CPU 推理速度有明显的优势，以 crnn 为例，32*128 尺寸的输入，7ms vs 40 ms，具体耗时还要看你的 backbone 规模和 cpu 主频了，加钱换个主频高点的 CPU....或者 check 下现在的 cpu 是不是支持 AVX512 的，paddle 对 AVX512 有没有优化

好的，您好，您这里能提供一下示例代码嘛？因为我之前按照官方的方式去做的测试

可以参考一下RapidOCR

Originally posted by @SWHL in #2950 (comment)