[Paper Note] Efficiently Reconstructing Dynamic Scenes One D4RT at a Time, Chuhan Zhang+, CVPR'26 Best Paper, 2025.12

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2512.08924

Authors

• Chuhan Zhang
• Guillaume Le Moing
• Skanda Koppula
• Ignacio Rocco
• Liliane Momeni
• Junyu Xie
• Shuyang Sun
• Rahul Sukthankar
• Joëlle K. Barral
• Raia Hadsell
• Zoubin Ghahramani
• Andrew Zisserman
• Junlin Zhang
• Mehdi S. M. Sajjadi

Abstract

• Understanding and reconstructing the complex geometry and motion of dynamic scenes from video remains a formidable challenge in computer vision. This paper introduces D4RT, a simple yet powerful feedforward model designed to efficiently solve this task. D4RT utilizes a unified transformer architecture to jointly infer depth, spatio-temporal correspondence, and full camera parameters from a single video. Its core innovation is a novel querying mechanism that sidesteps the heavy computation of dense, per-frame decoding and the complexity of managing multiple, task-specific decoders. Our decoding interface allows the model to independently and flexibly probe the 3D position of any point in space and time. The result is a lightweight and highly scalable method that enables remarkably efficient training and inference. We demonstrate that our approach sets a new state of the art, outperforming previous methods across a wide spectrum of 4D reconstruction tasks. We refer to the project webpage for animated results: https://d4rt-paper.github.io/.

Translation (by gpt-5-nano)

• 動画から動的シーンの複雑な幾何と運動を理解し再構成することは、依然としてコンピュータビジョン分野の大きな課題である。本論文は、この課題を効率的に解決することを目的とした、単純でありながら強力な前方伝播モデルD4RTを紹介する。D4RTは、単一の動画から深度・時空間対応・および全カメラパラメータを共同推定するための統一的なトランスフォーマーアーキテクチャを利用する。そのコアとなる革新は、密なフレームごとのデコードの重い計算や、複数のタスク特異デコーダを管理する複雑さを回避する新しいクエリ機構である。我々のデコーディングインタフェースは、モデルが空間と時間の任意の点の3D位置を独立かつ柔軟に探索できるようにする。その結果、訓練と推論を著しく効率化する、軽量で高いスケーラビリティを備えた手法となる。我々は、このアプローチが新たな最先端の水準を確立し、幅広い4D再構成タスクにおいて従来手法を上回ることを示している。アニメーション結果については、以下のプロジェクトウェブページをご参照ください: https://d4rt-paper.github.io/.

Summary (by gpt-4o-mini)

• 動画から動的シーンの幾何と運動を理解・再構成するための新しい前方伝播モデルD4RTを提案。単一の動画から深度や時空間対応を一括推定可能で、新しいクエリ機構により計算負担と複雑さを軽減。これにより、3D位置の探索が効率化され、4D再構成タスクで従来を超える性能を実現した。

[AkihikoWatanabe]

元ポスト:https://x.com/mmkkey_/status/2062913205324967986?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q

[AkihikoWatanabe]

pj page:https://d4rt-paper.github.io/

[AkihikoWatanabe]

解説:https://x.com/hillbig/status/2063748717602377792?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q