-
Notifications
You must be signed in to change notification settings - Fork 63
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
无法复现出与paper中一致的结果 #18
Comments
你好,我跑的结果比你还低1-2个点。请问你有用with_error参数吗,然后epochs是采用论文里的6次,还是用的run_spellgcn.sh里面的10次epochs. |
我全都是按默认的setting跑的,with_error=False,epoch=10,直接测试最后一个ckpt的performance。唯一有一点不同,是因为显存限制我把训练的batch_size从32改成了20。 |
各位大佬有用bert复现结果的吗?我用spellgcn、bert做这个问题,出现的情况就是完全相同的训练超参,固定一个随机种子,spellgcn指标高于bert,换一个随机种子,bert指标反过来高于spellgcn了,有点晕。 |
@drzqb 你是怎么用的bert,直接把gcn层去掉了么,我用pytorch复现发现比他的tensorflow复现的结果差好多 |
你好,想问下你的27.1k的训练数据是处理的和TrainingTruthAll.txt和TrainingInputAll.txt格式一样然后直接加到这两个文件里嘛,我也是用的源代码的参数,但是训练结果的recall和文章里差10个点左右,呜呜 |
您好,我把Wang2018的伪数据也加到训练集中训练,在SIGHAN15和SIGHAN14上得到结果比paper上写的低1个点左右。
Sentce Level,Detection F1
SIGHAN15: paper上写的77.7,复现结果:76.46;SIGHAN14: paper上写的67.2,复现结果65.43。
我跑了多次,结果有高有低,但都没有达到paper上报但值。paper上说报的结果是跑5次平均之后的结果,理论上跑多次得到的值应该在paper得到的值上下才对。
请问可以给一个可以完全复现paper上结果的代码setting吗,比如随机种子的值或其他细节之处?
The text was updated successfully, but these errors were encountered: