paddleLite在arm上推理与onnxruntime推理耗时差异过大

[fengyanWang]

• 标题：paddleLite在arm上推理与onnxruntime推理耗时差异过大
• 版本、预测库信息：
     1）Paddle Lite 版本：v2.13
     2）Host 环境：Ubuntu 18.04
     3）运行设备环境：展锐S8000
     4）预测后端信息：CPU fp16
• 预测信息
     1）预测 API：C++
     2）预测选项信息：armv8、单线程
     3）预测库来源：官网下载
• 复现信息：模型如下
• 问题描述：就这个模型，使用onnxruntime进行推理的时候，耗时仅为40ms，但是使用paddlelite进行推理，耗时则变成了1.1s左右，差异太大了，还麻烦看看，是哪里的问题

模型链接为：https://drive.google.com/drive/folders/1dufr3PAx7E743s5ycQZuJYgyxTyazAvL?usp=sharing

[fengyanWang]

请问paddleLite这个库是没有人维护了吗？

[engineer1109]

已经几个月没更新了，很多认识的职员也离职或调岗

[Yue-love]

• 标题：paddleLite在arm上推理与onnxruntime推理耗时差异过大
• 版本、预测库信息： 1）Paddle Lite 版本：v2.13 2）Host 环境：Ubuntu 18.04 3）运行设备环境：展锐S8000 4）预测后端信息：CPU fp16
• 预测信息
     1）预测 API：C++
     2）预测选项信息：armv8、单线程
     3）预测库来源：官网下载
• 复现信息：模型如下
• 问题描述：就这个模型，使用onnxruntime进行推理的时候，耗时仅为40ms，但是使用paddlelite进行推理，耗时则变成了1.1s左右，差异太大了，还麻烦看看，是哪里的问题

模型链接为：https://drive.google.com/drive/folders/1dufr3PAx7E743s5ycQZuJYgyxTyazAvL?usp=sharing

—————
你好 看到你的github 我想你是步步高家教机工程师
这里我有一台步步高家教机S3出现了故障
原因是这台设备刷入了一个System
这导致我的设备无法进入loader模式
主板上我没有找到EMMC_CLK点让这台设备进入MaskROM模式
关于这台设备的维修资料甚少
我的微信是19153241610
我的QQ是3453501674
我可能很需要你的帮助 谢谢

[hong19860320]

• 标题：paddleLite在arm上推理与onnxruntime推理耗时差异过大
• 版本、预测库信息：
     1）Paddle Lite 版本：v2.13
     2）Host 环境：Ubuntu 18.04
     3）运行设备环境：展锐S8000
     4）预测后端信息：CPU fp16
• 预测信息
     1）预测 API：C++
     2）预测选项信息：armv8、单线程
     3）预测库来源：官网下载
• 复现信息：模型如下
• 问题描述：就这个模型，使用onnxruntime进行推理的时候，耗时仅为40ms，但是使用paddlelite进行推理，耗时则变成了1.1s左右，差异太大了，还麻烦看看，是哪里的问题

模型链接为：https://drive.google.com/drive/folders/1dufr3PAx7E743s5ycQZuJYgyxTyazAvL?usp=sharing

能提供一下原始的 Paddle 模型吗？我看你只提供了 nb模型。
然后是否能用 https://www.paddlepaddle.org.cn/lite/v2.12/performance/benchmark_tools.html 提供的 benchmark 方法，看下是哪个算子耗时很大，理论上差距不一样这么大的。