Shape Reconstruction Details

[irvingqin123]

I attempted to use D3D-VAE for shape reconstruction. Specifically, I extracted point clouds from 3D meshes and used the point encoder to encode them into latents, and then decoded them back into meshes. However, I couldn't get normal results. Therefore, I would like to know some details about the reconstruction part, like the details of the original mesh, point cloud sampling strategies(point number, whether they are normalized or not), and the training details of the VAE part. Thanks!

[yuedajiong]

non-official answer:

pc - > FourierEmbedder() -> PointEncoder() -> DiagonalGaussianDistribution() -> z -> TriplaneDecoder() -> triplane [+xyz] -> triplane_sample() -> triplane_feacture -> occ_decoder() -> logits/sdf -> marching_cubes() -> mesh

My guess:
dataset -> (mesh2points) -> pc, pc as input;
dataset -> (mesh2sdf, discrete-sdf) -> sdf, sdf as target.

The detail input-target shape, you can derive from VAE code. (latent z is: [-1, 16,32,96])

NOTE: non-official, just gusss.

[yuedajiong]

在中文大白话补充一下我的分析（猜测）：

1. 理论上，VAE训练的时候，可以从Mesh [+multi-view] in，Mesh out。 但是这样流程太长很难训练。
   退而求其次，按照作者V1版本的图示，先把3D的对象采样成PC/point-clouds，In的部分成了PC。 可以均匀，也可以非均匀的采样得到PC。但是，这里可能不是很重要，因为在Gen的流程中，并不需要PC（和其他的spar3d等不一样）。 PC采样的策略，只要能够产生比较好的latent就可以了。 latent的质量的好坏，其实就是中间z对不同的对象，在latent空间具有很好的区分能力。我觉得这个性质很重要。（不同对象不同形态shape，最终的区分是靠VAE Decode出来的sdf等决定的。）

2. 在E2E训练的时候，目标定为mesh，是可以的，但是也长了一段流程。 我觉得应该是从mesh提取出比较好的sdf，然后实现pc-vae-sdf。而sdf-to-mesh部分就不需要可微的要求。 sdf的质量，我觉得比较重要。 当然，现在主流的一些sota算法，都是受制于voxelgrid/resolution的限制，太小了网格粒度太粗，即便有flexicubes等adaptive cube，那表达能力也不够； 如果resolution太大，单独这一步就很耗费空间^3。 作者V1这里用的512，已经很大了。用的mc算法不是最好的，个人“估计”至少也相当于flexicubes的256这种粒度。

（please translate into English, if interested.)