QNN

EXEのインストール

リリースページからzipをダウンロードし、解凍します。

アプリの使用方法は下記のページを参照してください。

モデルをクリックで選択します。QNNマークがあるものがQNNに対応したモデルです。

モデル選択後、右上のバックエンドからQnnDNN-HTP_QTI_AISWを選択することで、NPUでONNXを実行することができます。

QnnDNN-HTP_QTI_AISW (FP16) : QNNのNPU実装
CPU : ailiaのリファレンス実装

Surface Pro 12での計測結果です。FP16で実行しています。

Category	Model	CPU (ms)	NPU (ms)
PoseEstimation	lw-human-pose	65ms	15ms
ObjectDetection	yolox-s	128ms	18ms
Classification	resnet50	75ms	23ms
Classification	vit-B/16	166ms	62ms
BackgroundRemoval	u2net	435ms	182ms

(*) Imageの場合、初回推論は遅いので、2回、RUNを押してください。