Add a configuration for 2x3 GPUs training without gradient accumulation

[CharlesGaydon]

Configuration précédente : 2 GPUs, accumulation de gradient x3, batch size de 10. --> 116h /115 epochs -> ~ 1 h / epoch
Configuration proposée : 2 nodes x 3 GPUs, sans accumulation de gradient, batch size de 10 -> 41.5h / 100 epochs -> 0.415h/epoch.

2 division de temps d'entrainement, pour un résultat strictement équivalent.

[CharlesGaydon]

J'ai également fait un test en impliquant de la Mixed Precision, sans différence observable du temps d'apprentissage

C'est potentiellement lié aux librairies qui sont dans des versions plutôt anciennes. Aussi, la plupart des opérations d'aggrégation (scatter_), omniprésentes dans les modèles 3D basés sur torch gometric, ne sont pas passées en f16, ce qui explique peut-être le moindre gain. Ca valait le coup d'essayer !

pytorch-lightning         1.5.9                    pypi_0    pypi
torch                     1.11.0+cu113             pypi_0    pypi
torch-cluster             1.6.0                    pypi_0    pypi
torch-geometric           2.1.0                    pypi_0    pypi
torch-scatter             2.0.9                    pypi_0    pypi
torch-sparse              0.6.14                   pypi_0    pypi
torchmetrics              0.7.3                    pypi_0    pypi
torchvision               0.12.0+cu113             pypi_0    pypi