superai-20240317-recent-papers-on-3D-reconstruction&generation-quickly-read.txt

# papers including-but-not-limited:
  leap
  triposr
  lrm
  dust3r
  splatter
  lgm
  mvcontrol-threestudio
  v3d
  ...

all the tricks in one hand, no any newer:  :-(
 input:  image [text]
 output:  3d (gs, mesh, ...)

 step 0-a:  optional, by imput, if text
   text -> Image-Gen -> image

 step 0-b:   importent  (essence: stereo priori)
   image -> [no MV step]                 @Splatter-Image, ...
   image -> MV-gen -> MV images          @most of algorihtms
   image -> Video-Gen -> Framed images   @V3D, ...

 step 1:    very important, different network architecture
   image[s] -> [Diffusion]Unet or Transformer++ -> middle-representation (laten/RF, points,points-map, volex, triplane, gs, sugar, ...)    #favor: triplane or sugar

 step 2:
   middle-representation -> MarchCubes,[FlexiCubes],SDF, ... -> mesh

 step 9:
   mesh -> refiner -> HR mesh


Analysis/分析: In Chinese
1. 效果：最近一年以来，效果小有提升（以zero123为参照），比如shape的轮廓的准确性，但没有显著提升
2. 算法：算法停滞，长期看，都还是小变化；立体方向：几个关键步骤各种网络改造；动态方向：GS的动态不少；交互方向：极少
3. 数据：立体数据没大变化，比如objavase这种比较大但良莠不齐；还没有看到大规模利用2D image和video成功的
4. 团队：国内清华，北大，上海人工智能，浙大；新加坡LiuZiWei团队；美欧主要一些学校和创业小公司出论文和开源；“凭感觉”感觉几个美国大厂公开的少多了
5. 遗憾：
   5.1:  立体先验：没有看到很好利用立体先验的新思路，能够大规模和好效果
   5.2:  相机姿态：没有被作为关键影响点来对待，大部分算法都还是依赖
   5.3:  动态交互：研究的人太少
   5.4:  立体表示：特别3D/4D，能够：既好训练，还高质量，又好提取，还易扩展能力（比如4D，比如物理材质等）