-
Notifications
You must be signed in to change notification settings - Fork 228
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
执行quantize_torch_model.py后,pytorch模型export出的onnx模型并不是QNN模型 #543
Comments
你platform那边选QNN平台,然后直接用SNPE_convert_dlc那个工具可以读取你的json和onnx模型转成dlc,QNN 可以用 |
对了,还想问个问题: 其实在使用Aimet工具量化,然后导出onnx时,也是导出一份encodings + fp32模型。用咱们ppl的工具也会导出一份json + fp32模型。这个我不是很理解,导出的内容有什么意义或者有什么用途。因为之前我用的intel量化工具,输入fp32模型,导出int8 QNN模型,体积变小,也可以直接推理和部署。Aimet和ppl导出的两份文件是否可以再次转成QNN模型,或者有别的用法? |
根据我目前的了解Aimet这个东西不能直接生成一个int8模型,而是需要读取那个json文件(记录的是你的模型的量化参数)+你输出的量化模型,然后用SNPE-convert-dlc那个工具,读取这两个文件这才能生成一个int8的模型。PPL选QNN_DSP_INT8和Aimet是一样的 |
十分感谢大佬解答了我一直带有的疑惑! |
您好,尝试了用SNPE-convert-dlc的工具,这个目前能转化出dlc文件,但想要一个QNN的int8 ONNX模型,好像还不行,是我使用的方式不对吗? |
用QNN converter试试 |
是这个工具吗 可是并不能生成onnx模型。 找了很久,好像目前很难找到QDQ 转Qoperator ONNX的工具,但是这么通用的两种format,怎么会没有转化工具呢 |
这个model.cpp QNN可以用我记得 |
执行quantize_torch_model.py后,pytorch模型export出的onnx模型并不是QNN模型,虽然export导出了一份json文件和onnx模型,但是有没有办法获得一个QNN量化后的int8模型(体积比原fp32模型小的)?
The text was updated successfully, but these errors were encountered: