Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

F1:40%左右 #28

Open
hahlw opened this issue Apr 16, 2020 · 6 comments
Open

F1:40%左右 #28

hahlw opened this issue Apr 16, 2020 · 6 comments

Comments

@hahlw
Copy link

hahlw commented Apr 16, 2020

这是运行tuple_filter.py 的结果
在验证集上逻辑回归筛选后top10 召回率为0.87
单实体问题中,候选答案可召回的的比例为:0.893
候选答案能覆盖标准查询路径的比例为:0.685

为啥子测试的时候F1那么低~ 有大佬复现了代码的结果吗?

@1234560o
Copy link

我一开始跑通这个代码也差不多是这个样子,后面慢慢优化、加特征、调参后(特别是实体链接那部分)测试集f1就接近70%了

@hahlw
Copy link
Author

hahlw commented Apr 17, 2020

我一开始跑通这个代码也差不多是这个样子,后面慢慢优化、加特征、调参后(特别是实体链接那部分)测试集f1就接近70%了

好的好的,不知道大佬可以私一份代码吗?

@1234560o
Copy link

实在抱歉,因为一些原因不能公开。不过,在这个代码基础上修正一些bug和努力优化是能达到比较好的效果的

@hahlw
Copy link
Author

hahlw commented Apr 17, 2020

实在抱歉,因为一些原因不能公开。不过,在这个代码基础上修正一些bug和努力优化是能达到比较好的效果的

好的好的,谢谢哈~

@duterscmy
Copy link
Owner

如果similarity.py这个环节微调好的话,测试集上单模型到58%左右是正常的,你可以把学习速率和轮次再调一下

@Jun-Zhang-32108
Copy link

如果similarity.py这个环节微调好的话,测试集上单模型到58%左右是正常的,你可以把学习速率和轮次再调一下

想问一下,我用Similarity跑了一下给出的文本匹配的数据集,测试集准确率只有62%,请问这是预期效果嘛

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants