[Paper Note] VGGT-$Ω$, Jianyuan Wang+, CVPR'26, 2026.05

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2605.15195

Authors

• Jianyuan Wang
• Minghao Chen
• Shangzhan Zhang
• Nikita Karaev
• Johannes Schönberger
• Patrick Labatut
• Piotr Bojanowski
• David Novotny
• Andrea Vedaldi
• Christian Rupprecht

Abstract

• Recent feed-forward reconstruction models, such as VGGT, have proven competitive with traditional optimization-based reconstructors while also providing geometry-aware features useful for other tasks. Here, we show that the quality of these models scales predictably with model and data size. We do so by introducing VGGT-$Ω$, which substantially improves reconstruction accuracy, efficiency, and capabilities for both static and dynamic scenes. To enable training this model at an unprecedented scale, we introduce architectural changes that improve training efficiency, a high-quality data annotation pipeline that supports dynamic scenes, and a self-supervised learning protocol. We simplify VGGT's architecture by using a single dense prediction head with multi-task supervision and removing the expensive high-resolution convolutional layers. We also use registers to aggregate scene information into a compact representation and introduce register attention, which restricts inter-frame information exchange to these registers, in part replacing global attention. In this way, during training, VGGT-$Ω$ uses only about 30% of the GPU memory of its predecessor, allowing us to train with 15x more supervised data than prior work and to leverage vast amounts of unlabeled video data. VGGT-$Ω$ achieves strong results for reconstruction of static and dynamic scenes across multiple benchmarks, for example, improving over the previous best camera estimation accuracy on Sintel by 77%. We also show that the learned registers can improve vision-language-action models and support alignment with language, suggesting that reconstruction can be a powerful and scalable proxy task for spatial understanding. Project Page: http://vggt-omega.github.io/

Translation (by gpt-5-nano)

• 最近のフィードフォワード再構成モデルは、VGGT のように従来の最適化ベースの再構成法と競合する性能を示すと同時に、他のタスクに有用な幾何学的特徴を提供します。ここでは、これらのモデルの品質がモデルサイズとデータ量に応じて予測可能にスケールすることを示します。これを実現するために、VGGT-Ω を導入し、静的および動的シーンの再構成精度・効率・能力を大幅に向上させます。前例のない規模で本モデルを訓練できるよう、訓練効率を改善するアーキテクチャ変更、高品質なデータアノテーションパイプライン（動的シーンをサポート）および自己教師付き学習プロトコルを導入します。VGGT のアーキテクチャを、単一の高密度予測ヘッドとマルチタスク監視を用いて簡略化し、費用の高い高解像度の畳み込み層を削除します。さらに、レジスタを用いてシーン情報をコンパクトな表現に集約し、レジスタ・アテンションを導入します。これにより、フレーム間の情報交換をこれらのレジスタに限定し、一部ではグローバル・アテンションを置換します。訓練時には、VGGT-Ω は先行モデルの約 30% の GPU メモリしか使用せず、従来より 15 倍多い監視付きデータを訓練データとして活用するとともに、膨大な量のラベルなし動画データを活用できます。VGGT-Ω は、複数のベンチマークにおいて静的および動的シーンの再構成で強力な結果を達成し、たとえば Sintel における従来ベストのカメラ推定精度を 77% 上回ります。さらに、学習済みのレジスタが視覚・言語・行動モデルを改善し、言語との整合性をサポートすることを示し、再構成が空間理解の強力でスケーラブルな代理タスクになり得ることを示唆しています。プロジェクトページ: http://vggt-omega.github.io/

Summary (by gpt-4o-mini)

• VGGT-Ωは、フィードフォワード再構成モデルの新たなアプローチを提案し、静的および動的シーンの再構成精度と効率を向上させます。アーキテクチャの改良により、GPUメモリ使用量を約30%に抑えつつ、15倍の監視付きデータを活用。レジスタを用いたコンパクトな情報表現により、フレーム間の情報交換を効率化しました。VGGT-Ωは複数のベンチマークで優れた結果を示し、Sintelでは従来ベストを77%上回る精度を達成。学習済みのレジスタは視覚・言語モデルの向上に貢献し、再構成が空間理解の強力なタスクとして機能する可能性を示しています。

[AkihikoWatanabe]

pj page:https://vggt-omega.github.io/

[AkihikoWatanabe]

元ポスト:https://x.com/hillbig/status/2059028405761573174?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q

[AkihikoWatanabe]

関連:

• [Paper Note] VGGT: Visual Geometry Grounded Transformer, Jianyuan Wang+, CVPR'25 #2068