Some question of the paper

[Mr2er0]

你好，论文里关于MXYZ到M2D-3D的转化是这样说的。"$M_{2D-3D}$ can then be derived by stacking $M_{XYZ}$onto the corresponding 2D pixel coordinates". 但是我还是不太清楚为什么从$3\times64\times64$维度的$M_{XYZ}$转变成了$2\times64\times64$维度的$M_{2D-3D}$。以及为什么要做这样一个转化呢，直接将预测的XYZ归一化之后和MSRA Concatenation不行吗？

[wangg12]

你好，XYZ是3x64x64的，2D coordinates是2x64x64的，M_{2D-3D}是5x64x64的，表示2D和3D的correspondence.

[Mr2er0]

十分感谢你的回答。我还有一个问题，论文中给出了不同的训练方式，针对一个物体训练和针对N个物体训练。比如针对N个物体的网络训练完之后，要是输入了一张包含有多个物体的图片，那他的输出会是怎么样的呢？论文中所提的网络只支持单个物体的检测呢？

另外，还有一个问题是关于linemod数据集的。我想知道再LM-O数据集上的测评时，网络的训练是只在原始的linemod数据集上训练，还是利用了LM-O的标签一起训练呢？

[wangg12]

前端有个检测器，网络会基于检测到的物体预测pose（一个模型训所有物体的模型不考虑类别信息，每个物体训一个模型的方式(N个模型)会利用类别信息)。

LM-O整个数据集都是测试集，不会利用LM-O的标签训练。

[Mr2er0]

谢谢你的回答。我想再确认一下2D coordinates的坐标是像素点坐标的意思吗？

[wangg12]

是的

[Mr2er0]

你好，我想再问一下你们训练GDR-Net是联合训练吗，还是先训练中间网络之后冻结前面的权重再去训练后面的网络。谢谢！

[Mr2er0]

还有一个问题，我想问一下对于R矩阵前两列的回归，在训练的时候你们是否有加一些限制去让前两列的输出接近正交以及单位化之类的呢？还是就像论文中说的，直接回归完之后再去做单位化和正交化的处理。谢谢！

[wangg12]

你好，我想再问一下你们训练GDR-Net是联合训练吗，还是先训练中间网络之后冻结前面的权重再去训练后面的网络。谢谢！

It is end-to-end training for the whole network.

还有一个问题，我想问一下对于R矩阵前两列的回归，在训练的时候你们是否有加一些限制去让前两列的输出接近正交以及单位化之类的呢？还是就像论文中说的，直接回归完之后再去做单位化和正交化的处理。谢谢！

No constraints for R_6d's regression, because we transform R_6d to R and then calculate the loss based on R.