ja DirectML and TensorRT

DirectML と TensorRT

English | 日本語

DirectML

DirectMLは通常版Neoの標準ONNXバックエンドです。Windows上で幅広いGPU互換性を持たせるための標準経路です。

基本的にはまずDirectMLで動作確認してください。

TensorRT

TensorRTは対応NVIDIA GeForce RTX GPU向けのオプションバックエンドです。

現在のNeoの設計対象：

• RTX 20シリーズ
• RTX 30シリーズ
• RTX 40シリーズ
• RTX 50シリーズ

通常配布版を小さくシンプルに保つため、TensorRTは別途追加するバックエンドパックとして扱います。

TensorRTバックエンドパックの導入

別配布のTensorRTバックエンドファイルを次の場所へ配置します。

backends/tensorrt/

有効なパックには backend.json と必要なTensorRT / CUDA provider関連ファイルが含まれます。

エンジン生成

TensorRTエンジンは、使用するGPU、モデル、解像度、プロファイルの組み合わせに対してユーザーPC上で生成されます。そのため初回実行は時間がかかる場合があります。

あるGPUで生成したエンジンを別世代GPUへそのままコピーして使えるとは考えないでください。

フォールバック

TensorRTで利用できないモデルは、使用中のNeoバージョンやモデル互換性に応じてDirectML経路を利用する場合があります。

どちらを使うべきか

互換性と手軽さを優先する場合は DirectML。

対応NVIDIA RTX GPUでONNX処理速度を重視する場合は TensorRT を試してください。

実測（RTX 5070Ti）

フィルター	入力	DirectML	TensorRT	高速化
AnimeJaNai HD V3.1 Performance	854×480	約3.83 ms	約2.33 ms	約1.64倍
AnimeJaNai SD V1 beta34 Compact	640×480	約10.58 ms	約4.70 ms	約2.25倍
RIFE v4.22 Lite	1280×720	約28.21 ms	約12.36 ms	約2.28倍