-
Notifications
You must be signed in to change notification settings - Fork 279
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
关注复现使用的200k数据 #98
Comments
dataset_percent不是随机采样的。 |
那直接使用dataset_percent=0.0566就可以保证中文160k吗,我现在用这个200k数据复现,中文的结果和上图的差很多。英文的差不多。请问是什么原因呢?麻烦您了~ |
请问具体指标多少?能否复现到上图的0.5364? |
实验设置是Exp1,中文的acc:0.3374 NED:0.6095。但是英文的两个指标甚至要高于上图的结果 |
@Faner88 我最近也关注到了这个问题,每次用tool_add_anytext.py得到的初始ckpt进行复现实验,在200k数据上会有指标波动。但使用同一个初始ckpt进行实验,指标变化很小。我猜测:
|
好的,真的非常感谢您的回答~我会尝试修改验证,后续有发现再交流,感谢!! |
@Faner88 在上述Linear层后加了LN层,并用全0初始化,做了两组实验,指标基本和上图一致,中英Sen. ACC±3个点以内 |
请问这里复现的时候使用的200k数据,和消融实验一样,要保证中文160k吗,但是train.py里面的dataset_percent看起来是随机采样了这个比例的数据吧。是要保证这个中文比例吗
The text was updated successfully, but these errors were encountered: