关于 all_gather的速度问题

[bendanzzc]

您好，非常感谢开源中文clip，对我们的学术研究有这很大的帮助。
我们实验室也曾经尝试过大数据及的pretrain，但pytorch，all_gather的速度会随节点数上升而显著变慢，导致训练时间严重边长，请问你们训练的时候是如何解决all_gather的速度问题呀，感谢

[yangapku]

您好，这个问题确实是比较突出的，也和多机节点之间的通信网络性能有很大关系。我们在训练时，多机之间是支持RDMA通信的，我们启用了RDMA，这对于保证all_gather的性能和训练速度非常重要。

[bendanzzc]

哇，秒回，感谢