请问 是否可以通过量化后产生的onnx 推理结果可以直观看出量化的情况？

[fakerhbj]

事实上，我通过对原始onnx结果推理和量化后的浮点onnx推理，结果相差巨大，是否表示量化并没有做好？

[ycwnuoyan]

个人理解：这种应该跟量化策略的选择有关，这里的量化策略不是单指per_channel或者per_tensor
举个例子：我曾经做过一些量化测试，也是发现结果差距很大，无论怎么调节ppq里面的量化选项也没用，最后发现关闭某一算子的量化后，精度就变得很高了，而关闭的那一层是跟取位置有关的算子，那么从理论上来说，这种层确实不应该被量化。
结论：对于量化前后精度结果误差较大的网络，我觉得可以先调节精度，检查当前的量化策略是否合理，当然手动调节是一个漫长的过程，可以考虑脚本迭代尝试

[ZhangZhiPku]

相差巨大听起来确实是...量化没做好