关于NOCS实验结果的疑问

[Liuchongpei]

你好，请问你的论文中 NOCS在32bins的设定下为什么会比原论文中的结果的大部分指标高一些？

[densechen]

你好，是这样的，因为NOCS原文的比较方式较复杂，我们也发邮件咨询了作者，作者建议我们采用6PACK的方式，在这里，我们重新计算了指标（和6PACK有略微的不一样，主要是因为6PACK的作者发现NOCS的真实数据集的label有些不太准确，所以重新计算了label，我们用的是原始的label），所以才会和NOCS的不一样的。
如果您需要跟进NOCS的工作的话，建议您可以参考6PACK这个工作，它给出了整理后的更加好的标签数据。

[Liuchongpei]

好的，谢谢

[Liuchongpei]

你好，还是上次那个问题，你的论文中使用的 Metrics和NOCS中是一样的，结果的不同 单纯是由于重新计算引起的？还是说采用了6PACK的方式？

[densechen]

@Liuchongpei 关于这个问题，我也没法给你足够准确的回复，因为我目前也没有仔细研究过6PACK的评估代码，所以不好乱下结论 。但是我们可以保证的是，我们在论文中评估我们算法的结果，和NOCS算法的结果的时候，是采用一致的评估代码的。
我们有发布了我们的测试结果，如果你拿捏不准的话，可以直接将我们的实验结果重新用6PACK的代码去做一个评估。或者，如果你想要评估你自己的结果，那我们也公布了我们使用的评估代码，你也可以将你自己的结果去测试一下。
另外，NOCS的评估代码其实是包含了一些设置参数的，比如（use_match），评估的时候，请注意这些参数的设置。

[Liuchongpei]

那我这样理解对吗？
你论文中的结果和NOCS的结果采用了一致的评估代码，但不保证和原NOCS的评估代码一致，所以导致了结果的不同

[densechen]

@Liuchongpei 是的。因为我们当时评估算法的时候，也遇到了很多的问题。比如，我们的框架里面是没有做分割这件事情的。所以导致我们没发直接像NOCS那样同时评估检测结果和位姿估计结果。另外，NOCS自身提供的评估代码比较复杂难懂，我们为了保证和NOCS的比较metric是一致的，所以不得不重新用我们的代码一起评估了NOCS的结果。至于我们的评估代码是否和6PCAK的一模一样，这个我还没有去比对。不过，可以肯定的是，6PACK在计算结果的时候使用的GT，和我们是有一点点差异的。我们的GT是没有修正过的。

[Liuchongpei]

好的，谢谢