変形可能 DETR モデルは、Xizhou Zhu、Weijie Su、Lewei Lu、Bin Li、Xiaogang Wang, Jifeng Dai によって Deformable DETR: Deformable Transformers for End-to-End Object Detection で提案されました 変形可能な DETR は、参照周囲の少数の主要なサンプリング ポイントのみに注目する新しい変形可能なアテンション モジュールを利用することにより、収束の遅さの問題と元の DETR の制限された特徴の空間解像度を軽減します。
論文の要約は次のとおりです。
DETR は、優れたパフォーマンスを実証しながら、物体検出における多くの手作業で設計されたコンポーネントの必要性を排除するために最近提案されました。ただし、画像特徴マップの処理における Transformer アテンション モジュールの制限により、収束が遅く、特徴の空間解像度が制限されるという問題があります。これらの問題を軽減するために、私たちは Deformable DETR を提案しました。この DETR のアテンション モジュールは、参照周囲の少数の主要なサンプリング ポイントのみに注目します。変形可能な DETR は、10 分の 1 のトレーニング エポックで、DETR よりも優れたパフォーマンス (特に小さなオブジェクトの場合) を達成できます。 COCO ベンチマークに関する広範な実験により、私たちのアプローチの有効性が実証されました。
変形可能な DETR アーキテクチャ。 元の論文から抜粋。
このモデルは、nielsr によって提供されました。元のコードは ここ にあります。
Deformable DETR の使用を開始するのに役立つ公式 Hugging Face およびコミュニティ (🌎 で示される) リソースのリスト。
- [
DeformableDetrForObjectDetection] のカスタム データセットでの推論と微調整に関するデモ ノートブックは、こちら にあります。 - 物体検出タスクガイド も参照してください。
ここに含めるリソースの送信に興味がある場合は、お気軽にプル リクエストを開いてください。審査させていただきます。リソースは、既存のリソースを複製するのではなく、何か新しいものを示すことが理想的です。
[[autodoc]] DeformableDetrImageProcessor - preprocess - post_process_object_detection
[[autodoc]] DeformableDetrFeatureExtractor - call - post_process_object_detection
[[autodoc]] DeformableDetrConfig
[[autodoc]] DeformableDetrModel - forward
[[autodoc]] DeformableDetrForObjectDetection - forward