Layered Depth Refinement with Mask Guidance

[IsHYuhi]

INFO

author

Soo Ye Kim¹ Jianming Zhang² Simon Niklaus² Yifei Fan² Simon Chen² Zhe Lin² Munchurl Kim¹

affiliation

¹KAIST, Republic of Korea ²Adobe Inc., USA

conference or year

CVPR2022

link

Paper
arXiv
ProjectPage

概要

デプスマップは、3DレンダリングからBokehなどの2D画像効果まで、幅広い用途で利用されている。しかし、単一画像深度推定（SIDE）モデルによって予測される深度マップは、オブジェクトの孤立した穴や／不正確な境界領域を捉えることができないことが多い。一方、高品質なマスクは、市販のオートマスキングツールや市販のセグメンテーションやマッティングの手法、あるいは手動編集によって容易に入手することが可能である。そこで、本論文では、SIDEモデルの深度予測を洗練させるために、汎用マスクを利用したマスクガイド深度洗練という新しい問題を定式化する。本論文では、深度マップをマスクと逆マスクの2つのレイヤーに分解し、レイヤーリファインメントとインペイント・アウトペインティングを行うフレームワークを提案する。深度とマスクの両方を持つデータセットが少ないため、任意のマスクとRGB-Dデータセットを用いた自己教師あり学習方式を提案する。本手法は、異なる種類のマスクや初期深度予測に対して頑健であり、マスクの内側と外側の境界領域において正確に深度値を精緻化できることを経験的に示す。さらに、アブレーションの研究で我々のモデルを分析し、実際のアプリケーションで結果を実証する。 (by DeepL)

提案手法

Model Architecture

入力のdepthマップの低レベル特徴をエンコードするために，軽量の低レベルエンコーダを使用．メインのデコーダブランチからの特徴とconcatされてヘッドに入力され，ネットワークが初期のdepthを忘れないようにする．

検証

評価データセットはHypersimとTartanAir．これらはdenseとdepth, インスタンスセグメンテーションのマスクを含む．

evaluation metrics

• RMSE
• Wheighted Human Disagreement Rate (WHDR)
  • 10K randomly sampled point pairs
• depth boundary error on accuracy ($ \varepsilon_{acc}$)
• depth boundary error on completeness ($ \varepsilon_{comp} $)
• Mask Boundary Error (MBE)
• relative refinement ratio (R³)

Nインスタンスの平均RMSE．$M_{i}^{b}$ はdilateしたMからerodeしたMを引いたもの．kernel sizeは5x5．

R3(relative refinement ratio): the ratio of the number of pixels improved by more than a threshold t to the number of pixels worsened by more than t, in terms of absolute error. (t = 0.05)

新規性

・We propose a novel mask-guided depth refinement framework that refines the depth estimations of SIDE models guided by a generic high-quality mask.

• We propose a novel layered refinement approach, generating sharp and accurate results in challenging areas without additional input or heuristics.

• We devise a self-supervised learning scheme that uses RGB-D training data without paired mask annotations.

議論，展望

本手法は高品質なマスクに依存している．自動マスキングツールは数多く存在するが，非常に細かいディテールを表現するためには，手作業が必要となる場合がある．また，本手法はマスクの境界に沿ってリファインするため，オブジェクト内部の誤ったdepthをそのままにしておく可能性がある．

Comment

データセットに元からマスクがある前提なのが微妙な気がする．出力をマスクに従ってcompositeしているのでInstance Segmentationの性能に影響されるような...

date

4th July, 2022