BERT baseline方法疑问 #8
Comments
|
我看了论文，复现了[使用embedding table进行点乘]的方式，效果和论文中报告的差不多 |
|
最后一层输出直接加一个线性变换的效果就不太好 |
|
@zhiyumeng |
|
@Jason3900 用spell gcn作者提供的大小为281k的数据训练才行 |
|
@zhiyumeng 感谢解答！ |
不知道作者是怎么做的，我是动态使用embedding table进行点乘 |
主要看sighan15的结果吧，我感觉和论文中差距不大，虽然数据集很好 |
基本上是稳定出结果的，sighan15。 |
您好，这个git里面好像没有提供完整的数据训练集是么，请问您是怎么处理的，如果方便的话，可以分享一下完整的训练集么 |
您好，这个git里面好像没有提供完整的数据训练集是么，请问您是怎么处理的，如果方便的话，可以分享一下完整的训练集么 |
根据作者引用的文章去下载就行了 |
您好，现在我这边的实验复现结果和论文有点出入，有些相关的问题可以请教一下么，我给您发了邮件。 |
|
我复现的BERT和论文中也有差距，你们最后解决这个问题了吗@Sh1k17@zhiyumeng |
|
在token detection level，我复现的结果有差距。在13数据集上，单独在13上fintune可以提升效果。
…________________________________
发件人: Xuxiao Bu <notifications@github.com>
发送时间: 2020年10月14日 19:06
收件人: ACL2020SpellGCN/SpellGCN <SpellGCN@noreply.github.com>
抄送: fyyc <zhiyumengxiang@outlook.com>; Mention <mention@noreply.github.com>
主题: Re: [ACL2020SpellGCN/SpellGCN] BERT baseline方法疑问 (#8)
我复现的BERT与论文中也有出入，能共享吗
―
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub<#8 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AFRSKHLKDSLIZ744U277ONDSKZKKPANCNFSM4ONFFRHQ>.
|
|
@zhiyumeng 我只实验了character-level correction的结果，Recall和论文中差不多，但是Precision差的很多 |
|
我的结果是，句子级别分数基本一致，13数据集单独fintune后会有分数提高。Token级别的Precision确实差很多。
发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用
…________________________________
发件人: Xuxiao Bu <notifications@github.com>
发送时间: Tuesday, October 20, 2020 11:22:31 AM
收件人: ACL2020SpellGCN/SpellGCN <SpellGCN@noreply.github.com>
抄送: fyyc <zhiyumengxiang@outlook.com>; Mention <mention@noreply.github.com>
主题: Re: [ACL2020SpellGCN/SpellGCN] BERT baseline方法疑问 (#8)
@zhiyumeng<https://github.com/zhiyumeng> 我只实验了character-level correction的结果，Recall和论文中差不多，但是Precision差的很多
―
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub<#8 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AFRSKHONUT62WYDOYNBSS4LSLT67PANCNFSM4ONFFRHQ>.
|
|
我后来发现论文中token级别的是用带错误的句子测试的，这样测和论文中结果差不多
|
|
@bxx1024 您好，请问是直接用 271k 数据集跑作者提供的代码就可以达到和论文中差不多的结果吗？我这边把 batch size 减小一半在 13 和 15 数据集上 F1 都只有 0.6 左右 |
|
@zhanqiuzhang， 271k 和sighan训练数据一起跑可以达到论文中的效果，我在15年的测试数据上，correction-level和character-level的结果是'P':'93.33%','R':'82.60%','F1':'87.64%' |
|
感谢，原来如此。
发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用
发件人: Xuxiao Bu<mailto:notifications@github.com>
发送时间: 2020年10月24日 19:55
收件人: ACL2020SpellGCN/SpellGCN<mailto:SpellGCN@noreply.github.com>
抄送: fyyc<mailto:zhiyumengxiang@outlook.com>; Mention<mailto:mention@noreply.github.com>
主题: Re: [ACL2020SpellGCN/SpellGCN] BERT baseline方法疑问 (#8)
我后来发现论文中token级别的是用带错误的句子测试的，这样测和论文中结果差不多------------------ 原始邮件 ------------------
发件人: "fyyc"<notifications@github.com>
发送时间: 2020年10月23日(星期五) 晚上9:13
收件人: "ACL2020SpellGCN/SpellGCN"<SpellGCN@noreply.github.com>;
抄送: "Xuxiao Bu"<605226082@qq.com>;"Comment"<comment@noreply.github.com>;
主题: Re: [ACL2020SpellGCN/SpellGCN] BERT baseline方法疑问 (#8)
―
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub<#8 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AFRSKHITUBM6WDM5P7PVQ7TSMK6DNANCNFSM4ONFFRHQ>.
|
你好，请问这个结果是用这个 repo 的默认参数跑的吗？我把 batch size 减半为16之后在 sentence level，SIGHAN15上的测试结果大概比原论文低5个点左右。 |
能否告诉下，在13数据集上如何finetune的？不会用13的测试集吧？ |
|
我的baseline在sentence level F1差了大概2个点😵 |
|
我现在认为数据集起到了很大的作用，你可以好好调下参，就用bert-base就可以调上来。
从 Windows 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>发送
发件人: ***@***.***>
发送时间: 2021年10月21日 15:25
收件人: ***@***.***>
抄送: ***@***.***>; ***@***.***>
主题: Re: [ACL2020SpellGCN/SpellGCN] BERT baseline方法疑问 (#8)
我的baseline在sentence level F1差了大概2个点😵
—
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub<#8 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AFRSKHORMCPS5JKS6P5HKRTUH657BANCNFSM4ONFFRHQ>.
Triage notifications on the go with GitHub Mobile for iOS<https://apps.apple.com/app/apple-store/id1477376905?ct=notification-email&mt=8&pt=524675> or Android<https://play.google.com/store/apps/details?id=com.github.android&referrer=utm_campaign%3Dnotification-email%26utm_medium%3Demail%26utm_source%3Dgithub>.
|
|
sighan15上模型调到correction f1大概还差一个百分点，sighan14数据集结果差不多，但是sighan13数据集差大概三个百分点......😢 |
|
sighan15上模型调到correction f1大概还差一个百分点，sighan14数据集结果差不多，但是sighan13数据集差大概三个百分点......😢
另外，token level的结果差距还挺大 |
|
分析了一下错误案例，发现数据集有些标记错误，需要修正吗？ |
你好，我复现出来recall在每个数据集上都低十几个百分点，想问下你的参数是按照源码的参数嘛，还有你的数据是27.1k数据改了格式直接加到原来的TrainingTruthAll.txt和TrainingInputAll.txt嘛，谢谢啦 |
我也是发现原来给的测试集有的字没错但也改正了，可能影响了一些召回率吧 |
|
我用了27.1k的数据，没有改数据格式，低十几个百分点我估计是数据集的原因，在没有用大数据集的情况下我也是低十几个百分点。
在 2021-11-11 20:56:02，"hhhmmmzzz" ***@***.***> 写道：
sighan15上模型调到correction f1大概还差一个百分点，sighan14数据集结果差不多，但是sighan13数据集差大概三个百分点......
你好，我复现出来recall在每个数据集上都低十几个百分点，想问下你的参数是按照源码的参数嘛，还有你的数据是27.1k数据改了格式直接加到原来的TrainingTruthAll.txt和TrainingInputAll.txt嘛，谢谢啦
—
You are receiving this because you commented.
Reply to this email directly, view it on GitHub, or unsubscribe.
Triage notifications on the go with GitHub Mobile for iOS or Android.
|
|
我想了一下，可能是为了和之前的而实验进行公平比较所以没有对数据进行处理
在 2021-11-11 20:58:49，"hhhmmmzzz" ***@***.***> 写道：
分析了一下错误案例，发现数据集有些标记错误，需要修正吗？
我也是发现原来给的测试集有的字没错但也改正了，可能影响了一些召回率吧
—
You are receiving this because you commented.
Reply to this email directly, view it on GitHub, or unsubscribe.
Triage notifications on the go with GitHub Mobile for iOS or Android.
|
那就是还想问下27.1k数据集你用的是model\data\sighan里面的train.sgml还是model\data\train里面的train.sgml呀，我感觉这两个数据集还是有一些标点符号之类的不太一样，非常感谢啦 |
|
我用的不是这里的数据，用的是HeadFilt那篇论文开源的数据
在 2021-11-12 22:40:58，"hhhmmmzzz" ***@***.***> 写道：
我用了27.1k的数据，没有改数据格式，低十几个百分点我估计是数据集的原因，在没有用大数据集的情况下我也是低十几个百分点。 在 2021-11-11 20:56:02，"hhhmmmzzz" @.***> 写道： sighan15上模型调到correction f1大概还差一个百分点，sighan14数据集结果差不多，但是sighan13数据集差大概三个百分点...... 你好，我复现出来recall在每个数据集上都低十几个百分点，想问下你的参数是按照源码的参数嘛，还有你的数据是27.1k数据改了格式直接加到原来的TrainingTruthAll.txt和TrainingInputAll.txt嘛，谢谢啦 — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.
那就是还想问下27.1k数据集你用的是model\data\sighan里面的train.sgml还是model\data\train里面的train.sgml呀，我感觉这两个数据集还是有一些标点符号之类的不太一样，非常感谢啦
—
You are receiving this because you commented.
Reply to this email directly, view it on GitHub, or unsubscribe.
Triage notifications on the go with GitHub Mobile for iOS or Android.
|
BERT baseline是在最后一层输出直接加一个线性变换吗？
还是使用GCN的方法类似，使用embedding table进行点乘？
谢谢解答。
The text was updated successfully, but these errors were encountered: