QNN

EXEのインストール

リリースページからzipをダウンロードし、解凍します。

バックエンド切り替え

モデル選択後、右上のバックエンドからQnnDNN-HTP_QTI_AISWを選択することで、NPUでONNXを実行することができます。

QnnDNN-HTP_QTI_AISW (FP16) : QNNのNPU実装
CPU : ailiaのリファレンス実装

QNN対応モデルの動作速度

Surface Pro 12での計測結果です。FP16で実行しています。

Category	Model	CPU (ms)	NPU (ms)
PoseEstimation	lw-human-pose
ObjectDetection	yolox-s
Classification	resnet50
BackgroundRemoval	u2net

(*) Imageの場合、初回推論は遅いので、2回、RUNを押してください。