QNN
リリースページからAPKをダウンロードし、下記のコマンドでAPKをインストールします。
adb install ailia-models-kotlin-qnn.apk
アプリの使用方法は下記のページを参照してください。
https://github.com/ailia-ai/ailia-models-kotlin/wiki/APK
QnnDNN-HTP_QTI_AISWを選択することで、NPUでONNXを実行することができます。
QnnDNN-HTP_QTI_AISW (FP16) : QNNのNPU実装
CPU : ailiaのリファレンス実装
Snapdragon8 Gen1での計測結果です。FP16で実行しています。
| Category | Model | CPU (ms) | NPU (ms) |
|---|---|---|---|
| PoseEstimation | lw-human-pose | 94ms | 25ms |
| ObjectDetection | yolox-s | 202ms | 34ms |
| Classification | resnet50 | 87ms | 12ms |
| Classification | mobilenetv2 | 19ms | 6ms |
| Classification | vit | 305ms | 49ms |
| BackgroundRemoval | u2net | 910ms | 91ms |
(*) Imageの場合、初回推論は遅いので、2回、RUNを押してください。