-
Notifications
You must be signed in to change notification settings - Fork 11
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
CosineLRScheduler 没有t_mul 参数 #9
Comments
你的timm的版本是多少啊? |
因为CosineLRScheduler是从timm导入的,系统报告多了一个参数,所以这里应该是timm版本不对。 |
我是用的最新版的timm(timm==0.3.4 版本会不兼容) |
解决了吗?是能装0.3.4的吧? |
没有解决, 0.3.4 能 安装 |
我把版本换成了 可以运行了,但第5个epoch 开始 loss 全都变成了nan
请问这个 和timm 版本有关系吗? |
这个如果改了timm还存在的话,可能是lr的问题,你现在learning rate和batch size是多少 |
learning rate 和batchsize 都是使用的默认值 |
你训练时用的参数和 训练日志 可以提供一下吗? |
那应该就是timm的问题。我把log给你 |
你这个是八张卡吗 |
我只有一张卡 |
那你的batch size这里就不对了,实际上的batch size是 8 * 64 = 512 |
但是1张卡应该放不下512,你可以试试bs 256 和 lr 1e-4 |
output.log |
我目前一张卡 刚好放下 batch size 128, 如果改成256 会放不下 话说为什么学习率要随着batch_size 调整呢? |
bs 128的话可以试下lr 5e-6和1e-4。或者 7e-6啥的。因为不确定这样改对性能影响有多大。 |
好的,感谢 |
然后我们在实验中发现的是adaptive layernorm加进来对lr非常敏感。在bs 512的时候,lr3e-4就会nan。 |
请问有没有试过梯度累积? 如果用梯度累积 能模拟出大的batch_size 一样的效果吗? |
可以,梯度累计是可以的。 |
但是我们当时只在pre train的时候试了,这里直接在coco上面train的结论没有。 |
请问训练开始前有办法把用到的数据提前下载下来吗?
好像网络不稳定时,在第4个epoch 时也会导致训练中断 |
应该是gpt2的问题,你可以把gpt2下载下来,然后本地加载gpt2就行 |
应该是在tokenizer那里“GPT2Tokenizer.from_pretrained()” |
请问4 张卡 batchsize 128 得到的精度是多少? 这个是我一张卡 batchsize 128 , lr=1e-4 取得的结果,和你跑的结果区别大吗?
|
几乎没有差距,就是117。 |
你好,请问你能分享一下你的代码吗?我跑作者的代码一直出错。。。 |
请问这个字段是否写错了,正确的应该是什么?
The text was updated successfully, but these errors were encountered: