-
Notifications
You must be signed in to change notification settings - Fork 20
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
关于results of ablation study #3
Comments
您好,我来回答一下您的问题
|
非常感谢您的回答。希望您科研顺利。 |
RE结果和我这差的有点多。我跑了下1,2,3,4的seed,NER的结果是66.9, 66.4, 68.0, 67.7, RE的结果是36.9, 36.3, 38.9, 37.7。我在readme上更新了cuda版本要求,貌似这个也是会有影响的。 ablation我这里只存了sequential和parallel,sequential是68.7, parallel是67.0,scierc上确实波动很大,这部分我觉得可能是因为训练数据集本身的原因导致的。webnlg上NER sequential和parallel比joint差个0.3-0.5左右。 由于论文是最终稿,emnlp不让改了,所以可能没法添加结果。希望上边几个数值对您有用。 |
好的,谢谢您的回复。论文中的内容虽然无法额外变动,但是希望能够在github项目的readme上更新实验结果。同时建议您的ablation study能够在5-10个random seed上取NER和RE的平均结果和方差。单次的RE结果恐怕不能够使得您论文中ablation study的结论令人信服。 |
嗯,谢谢您的建议,ablation的多次结果之后会考虑加上的。 |
您好,非常感谢您非常优秀的工作成果,让我重新认识了relation识别对entity识别有帮助的可能。在阅读paper时,有一些疑问,希望能够得到解答。
非常感谢!
The text was updated successfully, but these errors were encountered: