Eddy Ilg, Nikolaus Mayer, Tonmoy Saikia, Margret Keuper, Alexey Dosovitskiy, Thomas Brox
University of Freiburg, Germany
FlowNetで提案されていたOptical FlowをCNNで行う手法を改善した。
FlowNetの改善手法はいくつか提案されていたが、革新的なものはなかった。 この提案する手法はFlowNetの推定エラーを50%近く減らし、ノイズを出さないようにし、精度と速さのトレードオフで8fps-140fps出るようになった。
コントリビューションとしては３つ
- 訓練時のデータの与え方の順番が精度に寄与することがわかった。(いきなり難しいThings3Dを与えるより、FlyingChairsを与えてからやるほうがいい)
- Networkをスタッキングさせていくほうがいいことがわかった(データの入力方法はちょっと特殊)
- ノイズのようなSmall DisplacementsにはFine-Tune
FlowNet2.0の構造提案のときには、FlyingChaiersとSintelでablation studyで比較（Flying Chaierは訓練とテストデータがちかいため、過学習チェックができる)
8fpsから140fpsの幅と精度のトレードオフを説明しているが、定性的評価がないため、 使用時に140fpsが使えるのかがわからない
- CNN based pathc matiching for optical flow with thresholed hinge loss
- Curriculum learning
- Human pose estimation with iterative error feedback
- A batch augmented loss for optical flow
- Stacked hourglass networks for human pose estimation
- Deepflow: Large displacement optical flow with deep matching