关于MHCN论文结果复现的问题

[C-Comfundo]

我在lastfm上运行了代码中MHCN的模型，看到代码中实现的是s2-MHCN，但运行出的结果与论文中给出的实验数据有一定出入（如下：
Precision:0.19607427055702917
Recall:0.1991364574123199
F1:0.197593500708107
NDCG:0.24458583342484325

[Coder-Yu]

因为我们把使用的python版本从2迁移到了3，所以出现了相对论文结果前两个指标略有下降，NDCG略有提升的现象。这个在我们较早的代码版本里注释提了一下，后来重构的时候删掉了这段注释。另外论文里面报告的结果是performance最好的那个epoch对应的结果。我们的配置文件里面默认100，所以直接出来的结果也会有一点下降。你可以把最大epoch调到120，会有一点提升。另外，我们之前的代码里面每一个batch会把所有用户和商品的embedding做l2_loss，后来改成了只对batch内的用户和商品做l2_loss，应该也会导致一点下降。其他方法比如lightgcn也有类似情况，从py2迁移到py3后出现了轻微的性能下降。希望以上解答清楚了你的疑惑^_^

[C-Comfundo]

epoch改成120之后又试了一下，指标与论文中相比还是有差距。感谢您的回答。

[Coder-Yu]

epoch改成120之后又试了一下，指标与论文中相比还是有差距。感谢您的回答。

这个是python版本迁移造成的问题，python2下面是可以的。而且ndcg相比原数据上升了。

[Coder-Yu]

epoch改成120之后又试了一下，指标与论文中相比还是有差距。感谢您的回答。

我已经把代码还原成我们实验时的状态了，除了环境还是py3。基本上前两个指标下降一点，很接近论文里面的数据了，后面NDCG高了0.2%。你再试试吧。

[C-Comfundo]

嗯嗯好的，感谢