Some questions about CS-MPJPE/MPVPE and feature representations after various 2D cues.

[sean-001]

您好！感谢你的工作和贡献 ！

由于对于这个领域的工作不是很熟悉，所以有一些比较多的疑惑，希望您帮助能解答一下。

（1）CS-MPJPE/MPVPE具体是怎样定义和计算的啊，它和MPJPE/MPVPE的关系是怎样的？
我测试了您提供的代码，cmr_pg模型的MPJPE/MPVPE和PA-MPJPE/MPVPE的测试结果都能达到文中的效果，但是对于CS-MPJPE/MPVPE我不太清楚是如何计算的。我尝试测试了没有经过registration的结果，得到了相同的MPJPE/MPVPE和很差的MPJPE/MPVPE，所以我理解文中Adaptive 2D-1D Registration是根据mask等信息对结果进行了一定程度的对齐，从而达到了较好的效果，不知道这样理解是否正确？

（2）我对于文中的camera-space root的坐标我有点疑惑，请问这个初始值（0， 0， 0.6）是如何确定的啊？我一直对数据集中数据的坐标系和坐标比较困惑 ，比如freihand数据集，其中点的坐标都是相对于root的相对坐标系，可以这样理解吗？

（3）请问feature representations是可视化的哪几个特征层啊，我尝试可视化了cmr_pg中的z2，pred4等都没有得到想要的效果，下图是可视化的pred4后的21个关键点map，并没有得到想要的那种比较清晰的关键点，请问这里可视化时有什么细节和技巧吗？

（4）请问MobRecon中的结果最后也都是经过类似Adaptive 2D-1D Registration对齐的吗？

[SeanChenxy]

你好。
（1）MPJPE 指的是在root-relative坐标系下，每个joint的误差，这种方式忽略了global translation；PA-MPJPE指的是计算误差之前，先把prediction和GT做一次rigid alignment，即进一步忽略他们之间的global rotation 和 scale （对应FreiHAND leaderboard中的aligned error）；CS-MPJPE 指的是在相机坐标系下，每个joint的误差，考虑了global translation, rotation 和 scale （对应FreiHAND leaderboard中的unaligned error）。Adaptive 2D-1D Registration 本质上就是根据3D mesh、2D pose和mask 去计算root在相机空间中的坐标。
（2）FreiHAND的标注是在相机坐标系下的。（0， 0， 0.6）只是初始值，因为手肯定在相机前方，所以给z>0，没有其他考量。
（3）文中可视化的是第二个stack的第一个block的特征，一般情况下浅层特征更适合做可视化，而高层语义更抽象。

[sean-001]

非常感谢您的回复！

不知道这样理解是否正确：root-relative坐标系指的是关键点相对于root的坐标，在FreiHAND中也就是关键点相对于手腕的坐标，手腕是原点。相机空间也就是相机坐标系，相机是原点。root recovery指的是求解root在相机坐标系下的坐标。

但是，我还有几点疑惑：
（1）既然FreiHAND的标注是在相机坐标系下的，那么模型loss计算的也是在相机坐标系下的差值，那么为什么还要再进行一步root recovery呢？还是说模型输出的值都被认为是root-relative坐标系下的。
（2）请问MobRecon或者其他算法的结果最后也都是要经过类似Adaptive 2D-1D Registration的root recovery吗？
（3）请问有没有推荐的论文或者博客啊。

[SeanChenxy]

理解正确。
（1）他的标注在相机坐标系下，但是训练中使用的GT是root-relative的。
（2）是的。
（3）这个问题太宽泛了，可以具体描述一下想了解哪些方面的知识。

[sean-001]

理解正确。 （1）他的标注在相机坐标系下，但是训练中使用的GT是root-relative的。 （2）是的。 （3）这个问题太宽泛了，可以具体描述一下想了解哪些方面的知识。

非常感谢您的回复，解决了我一个很大的困惑。关于论文的几个细节还想请教下您：

（1）在cmr论文中Huamn3.6M数据集使用的评价标准是MPJPE，是否表示在Human3.6M数据集中测试集的标注是在root-relative下的呢
（2）论文中他人工作的PCK曲线一般是如何绘制的啊。我理解这需要所有预测点的坐标，在leaderboard上有detailed results这一栏但是链接点进去并没有任何数据，所以这需要先复现他人的工作吗
（3）希望您能推荐一些手的三维重建方面比较前沿或者经典的工作和综述，以及这个方向还有哪些可以深挖的痛点。万分感谢！

[SeanChenxy]

（1）标注都是在相机空间中，只是测试在root坐标系下。
（2）可以参见 https://github.com/SeanChenxy/Hand3DResearch/blob/main/benchmarks/freihand/freihand_plots.py 。
detailed results 是有东西的，可能是服务器网络原因没有显示出来。
（3）相关论文参见 https://github.com/SeanChenxy/Hand3DResearch 。我个人觉得未来的发展方向包括：手部动力学、更强的通用手部模型（几何+texture、柔性）、手和人体的统一建模和驱动。

[Rookienovice]

作者您好，我看您在论文中说一些其他方法是通过估计external camera parameters来得到root值的，我去看了这些论文，没有太理解他们是怎么估计出来的，我非常困惑，作者您可以帮忙解答一下吗？

[sean-001]

（1）标注都是在相机空间中，只是测试在root坐标系下。 （2）可以参见 https://github.com/SeanChenxy/Hand3DResearch/blob/main/benchmarks/freihand/freihand_plots.py 。 detailed results 是有东西的，可能是服务器网络原因没有显示出来。 （3）相关论文参见 https://github.com/SeanChenxy/Hand3DResearch 。我个人觉得未来的发展方向包括：手部动力学、更强的通用手部模型（几何+texture、柔性）、手和人体的统一建模和驱动。

非常感谢您的回复！