能开源预训练权重吗

[rookiiiiiie]

No description provided.

[guoyang9]

Hi，这里是百度网盘的link，里面有albef和blip的，meter的过后会补上，之后也会考虑加上google drive。

[rookiiiiiie]

@guoyang9 感谢，我看你们工作介绍使用了四张NVIDIA A5000 GPU从头训练ALBEF，batchsize按pretrain.yaml里设置为40，大概一个epoch耗时多久？epoch从30减少到20对模型性能影响大吗？

[guoyang9]

ALBEF的base mode train from scratch大概需要7.5小时一个epoch。
performance对比的话，考虑到batch和epoch的联合影响，可以看到对retrieval影响多一点点：
(Re-train vs Original Train)
Flickr TR and IR@1: 93.6 vs 94.3 81.0 vs 82.8
COCO TR and IR@1: 72.2 vs 73.1 55.9 vs 56.8
VQA: 74.57 vs 74.54

这些是基于pre-train与downstream都用小batch的结果，如果单独加大downstream的batch，应该还会有一些提升。