[FR & EN] YouTube subtitles

[lbourdois]

Hi Alf 👋,

As indicated in my last email, I can't afford to wait for Yann's return without a big delay on my side.
So here are the subtitle files:

• For English, it is the addition of the unicode. In practice:

1. The list of files not modified during this review of the unicode: practinum1 (didn't need unicode), practinum4 (the file contains blocks of 3 instead of 2 for the others), for lecture 12 (the only file I didn't translate into French)

2. The list of finished files (full English review + unicode) : lecture 6 & 9

3. The list of about clean files (partial English review + unicode) : lecture 1-3,10,11 + practinum 1-3, 7-8, 10

4. The list of not clean files (no English review + unicode): lecture 5-9,12-15 + practinum 5-6,9,11-15

• For French, these are all the subtitles (except for lecture 12 where I have huge problems understanding Mike Lewis's accent and so I preferred not to put anything than to translate badly).

I also added a disclamer for the V2 of the French translation of the website which should arrive this month. It should be my next and last PR closing the French translation work 💥

Loïck

[lbourdois]

@Atcold I have made most of the changes. There are still 6 where I need your opinion.

[Atcold]

Awesome, thanks!
Shall I push them to YouTube?

[lbourdois]

@Atcold If you merge the PR #797, it should be good for the subtitles.

And I just thought that the titles of the videos were not translated into French. I'm not sure where to put this translation, so here it is:

Semaine 1 - CM : Histoire, motivation, et évolution de l’Apprentissage Profond
Semaine 1 - TD : Classification, algèbre linéaire, et visualisation
Semaine 2 - CM : Descente de gradient stochastique et rétropropagation
Semaine 2 - TD : Entraînement d'un réseau de neurones
Semaine 3 - CM : Réseaux de neurones convolutifs (ConvNets)
Semaine 3 - TD : Propriétés des signaux naturels et ConvNets
Semaine 4 - TD : Ecouter les convolutions
Semaine 5 – CM : Optimisation
Semaine 5 – TD : Convolution multi-canaux 1D et autograd
Semaine 6 – CM : Applications des ConvNets, RNNs et attention
Semaine 6 – TD : Architectures des RNNs et des LSTMs
Semaine 7 – CM : Modèles à base d’énergie (EBMs) et apprentissage autosupervisé
Semaine 7 – TD : Auto-encodeurs sous/sur-complets
Semaine 8 – CM : Méthodes constratives et modèles à variable latente régularisée
Semaine 8 – TD : Auto-encodeurs variationnels (VAEs)
Semaine 9 – CM : Eparsité de groupe, modèle du monde et GANs
Semaine 9 – TD : GANs vus à travers les EBMs
Semaine 10 – CM : Apprentissage autosupervisé en vision par ordinateur
Semaine 10 – TD : Le « Truck Backer-Upper »
Semaine 11 – CM : Fonctions d’activation et de perte sur PyTorch
Semaine 11 – TD : La prédiction et l’apprentissage de politique sous contrainte (PPUU)
Semaine 12 – CM : Apprentissage profond pour le traitement du langage naturel
Semaine 12 – TD : L’attention et le Transformer
Semaine 13 – CM : Les réseaux de neurones convolutifs pour graphes (GCNs)
Semaine 13 – TD : Les réseaux de neurones pour graphes (GNNs)
Semaine 14 – CM : Prédiction utilisant la structure avec les EBMs
Semaine 14 – TD : Surapprentissage et régularisation, et réseaux de neurones bayésiens
Semaine 15 – TD partie A : Inférence pour les EBMs à variable latente
Semaine 15 – TD partie B : Entraînement des EBMs à variable latente

You can add them on YouTube but it would be nice to wait for the next PR adding the French V2 part 2 to promote it (I'd like to avoid having to answer a lot of basic questions while the FAQ we talked about on Discord will be added with the ultimate PR of the V2).

[Atcold]

I can add these to YouTube, but there should be a translation of the description as well. See below.
Also, this is the same procedure used to add the French subtitles.

[lbourdois]

@Atcold Here is the translation of the descriptions.

Semaine 1 - CM : Histoire, motivation, et évolution de l’Apprentissage Profond

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Yann Le Cun
Traduction : Loïck Bourdois
Semaine 1 : https://atcold.github.io/pytorch-Deep-Learning/fr/week01/01/

0:00:00 - Semaine 1 - Cours magistral

Cours magistral partie A : https://atcold.github.io/pytorch-Deep-Learning/fr/week01/01-1/
Nous discutons de la motivation derrière l'apprentissage profond. Nous commençons par l'histoire et l'inspiration de l'apprentissage profond. Nous discutons ensuite de l'histoire de la reconnaissance des motifs et introduisons la descente de gradient et son calcul par rétropropagation. Enfin, nous discutons de la représentation hiérarchique du cortex visuel.
0:03:37 - L'inspiration de l'apprentissage profond et son histoire, l'apprentissage supervisé
0:24:21 - Histoire de la reconnaissance des motifs et introduction à la descente de gradient
0:38:56 - Calcul des gradients par rétropropagation, représentation hiérarchique du cortex visuel

Cours magistral Partie B : https://atcold.github.io/pytorch-Deep-Learning/fr/week01/01-2/
Nous discutons d'abord de l'évolution des ConvNets, de Fukushima à Le Cun et à Alexnet. Nous abordons ensuite quelques applications des ConvNets, comme la segmentation d'images, les véhicules autonomes et l'analyse d'images médicales. Nous discutons de la nature hiérarchique des réseaux profonds et des attributs des réseaux profonds qui les rendent avantageux. Nous concluons par une discussion sur la génération et l'apprentissage de caractéristiques/représentations.
0:49:25 - Evolution des ConvNets
1:05:55 - Apprentissage profond et extraction de caractéristiques
1:19:27 - Apprendre les représentations

Semaine 1 - TD : Classification, algèbre linéaire, et visualisation

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Alfredo Canziani
Traduction : Loïck Bourdois
Semaine 1 : https://atcold.github.io/pytorch-Deep-Learning/fr/week01/01/

0:00:00 - Semaine 1 - Travaux dirigés
Travaux dirigés : https://atcold.github.io/pytorch-Deep-Learning/fr/week01/01-3/
Nous discutons de la motivation pour appliquer des transformations à des points de données visualisés dans l'espace. Nous parlons de l'algèbre linéaire et de l'application de transformations linéaires et non linéaires. Nous discutons de l'utilisation de la visualisation pour comprendre la fonction et les effets de ces transformations. Nous parcourons des exemples dans un notebook Notebook et nous concluons par une discussion sur les fonctions représentées par des réseaux neuronaux.
0:03:53 - Motivation du problème et algèbre linéaire
0:13:18 - Visualisation de données - Séparation de points par couleur en utilisant un réseau
0:28:13 - Projections aléatoires – notebook Jupyter

Semaine 2 - CM : Descente de gradient stochastique et rétropropagation

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Yann Le Cun
Traduction : Loïck Bourdois
Semaine 2 : https://atcold.github.io/pytorch-Deep-Learning/fr/week02/02/

0:00:00 - Semaine 2 - Cours magistral

Cours magistral partie A : https://atcold.github.io/pytorch-Deep-Learning/fr/week02/02-1/
Nous commençons par comprendre ce que sont les modèles paramétrés et discutons ensuite de ce qu'est une fonction de perte. Nous examinons ensuite les méthodes basées sur le gradient et comment elles sont utilisées dans l'algorithme de rétropropagation d'un réseau neuronal traditionnel. Nous concluons cette section en apprenant comment implémenter un réseau neuronal dans PyTorch, puis nous discutons d'une forme plus généralisée de rétropropagation.
0:00:29 - Algorithme d'optimisation par descente de gradient
0:17:16 - Avantages de la SGD et de la rétropropagation pour les réseaux neuronaux traditionnels
0:38:08 - Implémentation PyTorch d'un réseau neuronal et d'un algorithme de rétropropagation généralisé

Cours magistral partie B : https://atcold.github.io/pytorch-Deep-Learning/fr/week02/02-2/
Nous commençons par un exemple concret de rétropropagation et discutons des dimensions des matrices jacobiennes. Nous examinons ensuite divers modules de base de réseaux neuronaux et calculons leurs gradients, puis nous discutons brièvement de la softmax et de la logsoftmax. L'autre sujet de discussion de cette partie est les astuces pratiques pour la rétropropagation.
0:49:49 - Modules de base - LogSoftMax
1:05:53 - Astuces pratiques pour la rétropropagation
1:21:31 - Calcul des gradients pour les modules NN et astuces pratiques pour la rétropropagation

Semaine 2 - TD : Entraînement d'un réseau de neurones

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Alfredo Canziani
Traduction : Loïck Bourdois
Semaine 2 : https://atcold.github.io/pytorch-Deep-Learning/fr/week02/02/

0:00:00 - Semaine 2 - Travaux dirigés

Travaux dirigés: https://atcold.github.io/pytorch-Deep-Learning/fr/week02/02-3/
Nous donnons une brève introduction à l'apprentissage supervisé à l'aide de réseaux de neurones artificiels. Nous exposons la formulation du problème et les conventions des données utilisées pour entraîner ces réseaux. Nous discutons également de la façon d’entraîner un réseau neuronal pour la classification multi-classes, et de la façon d'effectuer l'inférence une fois le réseau entraîné.
0:02:30 - Une introduction à l'apprentissage supervisé en utilisant les ANNs.
0:13:42 - Inférence de réseau neuronal et entraînement de réseau neuronal (I)
0:36:28 - Entraînement du réseau neuronal (II) et un exemple de classification

Semaine 3 - CM : Réseaux de neurones convolutifs (ConvNets)

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Yann Le Cun
Traduction : Loïck Bourdois
Semaine 3 : https://atcold.github.io/pytorch-Deep-Learning/fr/week03/03/

0:00:00 - Semaine 3 - Cours magistral

Cours magistral partie A : https://atcold.github.io/pytorch-Deep-Learning/fr/week03/03-1/
Nous voyons d'abord une visualisation d'un réseau neuronal à 6 couches. Ensuite, nous abordons le sujet de la convolution et des réseaux de neurones à convolution (ConvNets). Nous passons en revue plusieurs types de transformation de paramètres dans les ConvNets et introduisons l'idée d'un noyau, utilisé pour apprendre des caractéristiques d'une manière hiérarchique, et pour classer nos données d'entrée, ce qui est l'idée de base d'un ConvNet.
0:00:05 - Visualisation des réseaux neuronaux
0:07:57 - Transformations de paramètres, l'opérateur de convolution et les réseaux neuronaux convolutifs profonds
0:37:34 - Inspirations de la biologie

Cours magistral partie B : https://atcold.github.io/pytorch-Deep-Learning/fr/week03/03-2/
Nous donnons une introduction sur les évolutions des ConvNets. Nous discutons en détail des architectures des ConvNets avec une implémentation moderne de LeNet5, illustrée par la tâche de reconnaissance de chiffres sur MNIST. Sur la base de ses principes de conception, nous développons les avantages du ConvNet qui explore pleinement les caractéristiques de composition, de stationnarité et de localité des images naturelles.
0:49:09 - Les premiers ConvNets
1:03:50 - LeNet5 et la reconnaissance des chiffres
1:20:27 - Lier les caractéristiques et à quoi servent les ConvNets ?

Semaine 3 - TD : Propriétés des signaux naturels et ConvNets

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Alfredo Canziani
Traduction : Loïck Bourdois
Semaine 3 : https://atcold.github.io/pytorch-Deep-Learning/fr/week03/03/

0:00:00 - Semaine 3 - Travaux dirigés

Travaux dirigés : https://atcold.github.io/pytorch-Deep-Learning/fr/week03/03-3/
Les propriétés des signaux qui sont les plus pertinentes pour les ConvNets sont discutées, à savoir : la localité, la stationnarité et la compositionnalité. La façon dont un noyau exploite ces caractéristiques en utilisant la sparsité, le partage des poids et l'empilement des couches est ensuite explorée, ainsi que les concepts de rembourrage et de padding. Une comparaison des performances entre FCN et ConvNet pour différentes modalités de données a également été effectuée.
0:00:26 - Les propriétés des signaux naturels
0:17:54 - Exploiter les propriétés des signaux naturels pour construire un ConvNet spatial standard
0:39:36 - Pooling et ConvNet – notebook Jupyter

Semaine 4 - TD : Ecouter les convolutions

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Alfredo Canziani
Traduction : Loïck Bourdois
Semaine 4 : https://atcold.github.io/pytorch-Deep-Learning/fr/week04/04/

0:00:00 - Semaine 4 - Travaux dirigés

Travaux dirigés: https://atcold.github.io/pytorch-Deep-Learning/fr/week04/04-1/
Nous commençons par une brève revue de l'algèbre linéaire puis nous étendons le sujet aux convolutions en utilisant des données audios comme exemple. Des concepts clés comme la localité, la stationnarité et la matrice Toeplitz sont discutés. Ensuite, nous faisons une démonstration en direct de la performance des convolutions dans l'analyse de la hauteur du son. Enfin, il y a une courte digression sur la dimensionnalité de différentes données.
0:01:08 - Révision de l'algèbre linéaire
0:17:10 - Extension de l'algèbre linéaire à la convolution
0:28:29 - Écouter les convolutions

Semaine 5 – CM : Optimisation

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Aaron DeFazio
Traduction : Loïck Bourdois
Semaine 5 : https://atcold.github.io/pytorch-Deep-Learning/fr/week05/05/

0:00:00 - Semaine 5 - Cours magistral

Cours magistral partie A : https://atcold.github.io/pytorch-Deep-Learning/fr/week05/05-1/
Nous commençons par présenter la descente par gradient. Nous discutons de l'intuition et nous expliquons comment la taille des étapes joue un rôle important dans l'obtention de la solution. Ensuite, nous passons à la SGD et à ses performances en comparaison avec la GD en batch complet. Enfin, nous parlons des mises à jour du momentum, en particulier les deux règles de mise à jour, l'intuition derrière le momentum et son effet sur la convergence.
0:01:28 - La descente par gradient
0:14:58 - La descente par gradient stochastique
0:27:52 - Momentum

Cours magistral partie B : https://atcold.github.io/pytorch-Deep-Learning/fr/week05/05-2/
Nous discutons des méthodes adaptatives pour la SGD telles que RMSprop et ADAM. Nous abordons également les couches de normalisation et leurs effets sur le processus de formation du réseau neuronal. Enfin, nous discutons d'un exemple concret d'utilisation de réseaux neuronaux dans l'industrie pour rendre les scans IRM plus rapides et plus efficaces.
0:44:35 - Méthodes adaptatives
1:05:07 - Couches de normalisation
1:20:17 - La mort de l'optimisation

Semaine 5 – TD : Convolution multi-canaux 1D et autograd

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Alfredo Canziani
Traduction : Loïck Bourdois
Semaine 5 : https://atcold.github.io/pytorch-Deep-Learning/fr/week05/05/

0:00:00 - Semaine 5 - Travaux dirigés

Travaux dirigés : https://atcold.github.io/pytorch-Deep-Learning/fr/week05/05-3/
Nous revoyons brièvement les multiplications matricielles et discutons ensuite des convolutions. Le point clé est que nous utilisons des noyaux par empilage et décalage. Nous commençons par comprendre la convolution 1D à la main, puis nous utilisons PyTorch pour apprendre la dimension des noyaux et la largeur de sortie dans des exemples de convolutions 1D et 2D. De plus, nous utilisons PyTorch pour apprendre comment fonctionne le gradient automatique et les gradients personnalisés.
0:02:20 - Comprendre les convolutions 1D/2D
0:18:15 - Dimension des noyaux et largeur de sortie dans PyTorch
0:27:14 - Comment fonctionne le gradient automatique ?

Semaine 6 – CM : Applications des ConvNets, RNNs et attention

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Alfredo Canziani
Traduction : Loïck Bourdois
Semaine 6 : https://atcold.github.io/pytorch-Deep-Learning/fr/week06/06/

0:00:00 - Semaine 6 - Cours magistral

Cours magistral partie A : https://atcold.github.io/pytorch-Deep-Learning/fr/week06/06-1/
Nous discutons de trois applications des réseaux de neurones convolutifs. Nous avons commencé par la reconnaissance de chiffres et l'application à la reconnaissance d'un code postal à 5 chiffres. Dans la détection d'objets, nous avons parlé de la manière d'utiliser l'architecture multi-échelle dans un contexte de détection de visage. Enfin, nous avons vu comment les ConvNets sont utilisés dans des tâches de segmentation sémantique avec des exemples concrets dans un système de vision robotique et la segmentation d'objets dans un environnement urbain.
0:00:43 - Entraînement au niveau des mots avec une supervision minimale
0:20:41 - Détection de visages et segmentation sémantique
0:27:49 - ConvNet pour la vision robotique adaptative à longue portée et la segmentation de scènes

Cours magistral partie B : https://atcold.github.io/pytorch-Deep-Learning/fr/week06/06-2/
Nous examinons les réseaux neuronaux récurrents, leurs problèmes et les techniques communes pour atténuer ces problèmes. Nous passons ensuite en revue une variété de modules développés pour résoudre les problèmes des modèles RNNs, notamment Attention, GRUs (Gated Recurrent Unit), LSTMs (Long Short-Term Memory) et Seq2Seq.
0:43:40 - Réseaux neuronaux récurrents et mécanismes d'attention
0:59:09 - GRUs, LSTMs, et modèles Seq2Seq
1:16:15 - Les réseaux mémoire

Semaine 6 – TD : Architectures des RNNs et des LSTMs

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Alfredo Canziani
Traduction : Loïck Bourdois
Semaine 6 : https://atcold.github.io/pytorch-Deep-Learning/fr/week06/06/

0:00:00 - Semaine 6 - Travaux dirigés

Travaux dirigés : https://atcold.github.io/pytorch-Deep-Learning/fr/week06/06-3/
Nous discutons de l'architecture des modèles standard RNN et LSTM et comparons les performances entre les deux. Les LSTMs héritent des avantages du RNN, tout en améliorant les faiblesses du RNN en incluant une « cellule mémoire » pour stocker l'information en mémoire pour de longues périodes de temps. Les modèles LSTMs sont nettement plus performants que les modèles RNNs.
0:00:21 - Vue d'ensemble et 4 types de RNNs
0:14:15 - Entraînement des RNNs et questions connexes
0:30:38 - La mémoire à long terme et les exemples d'ordinateurs portables

Semaine 7 – CM : Modèles à base d’énergie (EBMs) et apprentissage autosupervisé

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Yann Le Cun
Traduction : Loïck Bourdois
Semaine 7 : https://atcold.github.io/pytorch-Deep-Learning/fr/week07/07/

0:00:00 - Semaine 7 - Cours magistral

Cours magistral partie A : https://atcold.github.io/pytorch-Deep-Learning/fr/week07/07-1/
Nous présentons le concept des modèles à base d'énergie et l'intention de différentes approches autres que les réseaux feed-forward. Pour résoudre la difficulté de l'inférence dans les EBMs, des variables latentes sont utilisées pour fournir des informations auxiliaires et permettre de multiples prédictions possibles. Enfin, l'EBM peut être généralisé à un modèle probabiliste avec des fonctions de notation plus flexibles.
0:01:04 - Concept des EBMs
0:15:04 - EBM à variables latentes : inférence
0:28:23 - EBM vs modèles probabilistes

Cours magistral partie B : https://atcold.github.io/pytorch-Deep-Learning/fr/week07/07-2/
Nous discutons de l'apprentissage autosupervisé, présenté comment entraîner un EBM, discutons de l'EBM à variable latente, en particulier avec un exemple de K-means. Nous présentons également les méthodes contrastives, expliqué un auto-codeur débruiteur avec une carte topographique, le processus d'entraînement, et comment il peut être utilisé, suivi d'une introduction à BERT. Enfin, nous parlons de la divergence contrastive, également expliquée à l'aide d'une carte topographique.
0:44:43 - L'apprentissage autosupervisé
1:05:57 - Entraînement d'un EBM
1:19:27 - EBM à variables latentes, exemple de K-means, méthodes contrastives

Semaine 7 – TD : Auto-encodeurs sous/sur-complets

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Alfredo Canziani
Traduction : Loïck Bourdois
Semaine 7 : https://atcold.github.io/pytorch-Deep-Learning/fr/week07/07/

0:00:00 - Semaine 7 - Travaux dirigés

Travaux dirigés : https://atcold.github.io/pytorch-Deep-Learning/fr/week07/07-3/
Nous discutons de quelques applications des auto-encodeurs et expliquons pourquoi nous voulons les utiliser. Nous parlons ensuite des différentes architectures d'auto-codeurs (couche cachée complète ou non), de la manière d'éviter les problèmes de surentraînement et des fonctions de perte à utiliser. Enfin, nous implémentons un auto-encodeur standard et un auto-encodeur débruiteur.
0:00:55 - Application des auto-encodeurs
0:14:39 - Architecture et fonction de perte dans les auto-encodeurs
0:41:31 - Exemple de notebook pour les différents types d’auto-encodeurs

Semaine 8 – CM : Méthodes constratives et modèles à variable latente régularisée

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Yann Le Cun
Traduction : Loïck Bourdois
Semaine 8 : https://atcold.github.io/pytorch-Deep-Learning/fr/week08/08/

0:00:00 - Semaine 8 - Cours magistral

Cours magistral partie A : https://atcold.github.io/pytorch-Deep-Learning/fr/week08/08-1/
Dans cette partie, nous intéressons à l'introduction des méthodes contrastives dans les EBMs sous plusieurs aspects. Tout d'abord, nous discutons de l'avantage apporté par l'application des méthodes contrastives dans l'apprentissage autosupervisé. Ensuite, nous discutons de l'architecture des autoencodeurs débruiteurs et de leur faiblesse dans les tâches de reconstruction d'images. Nous parlons aussi d'autres méthodes contrastives, comme la divergence contrastive et la divergence contrastive persistante.
0:00:05 - Récapitulation sur l'EBM et les caractéristiques des différentes méthodes contrastives
0:10:13 - Méthodes contrastives dans l'apprentissage autosupervisé
0:23:04 - Auto-encodeur débruiteur et autres méthodes contrastives

Cours magistral partie B : https://atcold.github.io/pytorch-Deep-Learning/fr/week08/08-2/
Dans cette partie, nous abordons en détail les EBMs à variables latentes régularisées en couvrant les concepts des versions conditionnelles et inconditionnelles de ces modèles. Nous discutions ensuite des algorithmes ISTA, FISTA et LISTA et examinons des exemples de codage épars et de filtres appris à partir d’auto-encodeurs convolutifs épars. Enfin, nous parlons des auto-encodeurs variationnels et des concepts sous-jacents impliqués.
0:37:13 - Vue d'ensemble des EBMs à variables latentes régularisées et du codage épars
1:07:46 - Auto-encodeurs convolutifs épars
1:12:51 - Auto-encodeurs variationnels

Semaine 8 – TD : Auto-encodeurs variationnels (VAEs)

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Alfredo Canziani
Traduction : Loïck Bourdois
Semaine 8 : https://atcold.github.io/pytorch-Deep-Learning/fr/week08/08/

0:00:00 - Semaine 8 - Travaux dirigés

Travaux dirigés : https://atcold.github.io/pytorch-Deep-Learning/fr/week08/08-3/
Dans cette section, nous discutons d'un type spécifique de modèle génératif appelé auto-encodeurs variationnels et nous comparons leurs fonctionnalités et leurs avantages par rapport aux auto-encodeurs classiques. Nous explorons en détail la fonction objective des VAEs en comprenant comment elle impose une certaine structure dans l'espace latent. Enfin, nous implémentons et entraînons un VAE sur le jeu de données MNIST et l’utilisons pour générer de nouveaux échantillons.
0:02:35 - Auto-encodeurs (AEs) vs auto-encodeurs variationnels (VAEs)
0:16:37 - Comprendre la fonction objectif des VAEs
0:31:33 - Exemple de bloc-notes pour un auto-codeur variationnel

Semaine 9 – CM : Eparsité de groupe, modèle du monde et GANs

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Yann Le Cun
Traduction : Loïck Bourdois
Semaine 9 : https://atcold.github.io/pytorch-Deep-Learning/fr/week09/09/

0:00:00 - Semaine 9 - Cours magistral

Cours magistral partie A : https://atcold.github.io/pytorch-Deep-Learning/fr/week09/09-1/
Nous discutons des auto-encodeurs épars récurrents discriminatifs et de l’éparsité de groupe. L'idée principale est de savoir comment combiner le codage épars avec l'entraînement discriminatif. Nous voyons comment structurer un réseau avec un auto-encodeur récurrent similaire à LISTA et un décodeur. Puis nous avons discuté de la façon d'utiliser l’éparsité de groupe pour extraire des caractéristiques invariantes.
0:00:35 - Auto-encodeur récurrent épars et discriminant et l’éparsité de groupe.
0:15:18 - AE avec l’éparsité de groupe : questions et clarifications
0:30:34 - RELU convolutionnel avec l’éparsité de groupe

Cours magistral partie B : https://atcold.github.io/pytorch-Deep-Learning/fr/week09/09-2/
Dans cette section, nous parlons des modèles du monde pour le contrôle autonome, y compris l'architecture du réseau neuronal et le schéma de formation. Ensuite, nous discutons de la différence entre les modèles du monde et l'apprentissage par renforcement (RL). Enfin, nous étudions les réseaux génératifs antagonistes (GANs) en termes de modèle à base d'énergie avec la méthode contrastive.
0:42:06 - Apprentissage de modèles du monde pour le contrôle autonome
1:06:33 - Apprentissage par renforcement
1:30:30 - Réseaux génératifs antagonistes (GANs)

Semaine 9 – TD : GANs vus à travers les EBMs

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Alfredo Canziani
Traduction : Loïck Bourdois
Semaine 9 : https://atcold.github.io/pytorch-Deep-Learning/fr/week09/09/

0:00:00 – Semaine 9 – Travaux dirigés

Travaux dirigés : https://atcold.github.io/pytorch-Deep-Learning/fr/week09/09-3/
Au cours du stage de cette semaine, nous avons exploré les réseaux génératifs antagonistes (GANs) et la manière dont ils peuvent produire des modèles génératifs réalistes. Nous avons ensuite comparé les GANs aux VAEs de la semaine 8 pour mettre en évidence les différences clés entre les deux réseaux. Ensuite, nous avons discuté de plusieurs limitations des modèles GANs. Enfin, nous examinons le code source PyTorch de l'exemple « Deep Convolutional Generative Adversarial Networks » (DCGAN).
0:00:57 - Introduction aux GANs
0:30:44 - Différence entre les GANs et les VAEs et principaux pièges des GANs
0:48:31 - Code source de DCGAN

Semaine 10 – CM : Apprentissage autosupervisé en vision par ordinateur

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Ishan Misra
Traduction : Loïck Bourdois
Semaine 10 : https://atcold.github.io/pytorch-Deep-Learning/fr/week10/10/

0:00:00 - Semaine 10 – Cours magistral

Cours magistral partie A : https://atcold.github.io/pytorch-Deep-Learning/fr/week10/10-1/
Dans cette section, nous comprenons la motivation derrière l'apprentissage autosupervisé (SSL), nous définissons ce qu'il est et nous voyons certaines de ses applications en PNL et en vision par ordinateur. Nous comprenons comment les tâches de prétexte aident le SSL et voyons quelques exemples de tâches de prétexte dans des images, des vidéos et des vidéos avec du son. Enfin, nous essayons d'avoir une intuition sur la représentation apprise par les tâches de prétexte.
0:01:15 - Les défis de l'apprentissage supervisé et comment l'apprentissage autosupervisé diffère de l'apprentissage supervisé et non-supervisé, avec des exemples dans le NLP et les positions relatives pour la vision
0:12:39 - Exemples de tâches de prétexte dans les images, les vidéos et les vidéos avec son
0:40:26 - Comprendre ce que la tâche de prétexte apprend

Cours magistral partie B : https://atcold.github.io/pytorch-Deep-Learning/fr/week10/10-2/
Dans cette partie, nous discutons des défauts des tâches prétextes, nous définissons les caractéristiques d'une bonne fonction pré-entraînée et nous expliquons comment nous pouvons y parvenir en utilisant le clustering et l'apprentissage contrastif. Nous découvrons ensuite ClusterFit, ses étapes et ses performances. Nous nous plongerons ensuite dans un cadre spécifique simple pour l'apprentissage contrastif connu sous le nom de PIRL. Nous discutons de son fonctionnement ainsi que de son évaluation dans différents contextes.
1:01:50 - Généralisation de la tâche de prétexte et ClusterFit
1:19:08 - L'idée de base de PIRL
1:38:09 - Evaluation de PIRL sur différentes tâches et questions

Semaine 10 – TD : Le « Truck Backer-Upper »

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Alfredo Canziani
Traduction : Loïck Bourdois
Semaine 10 : https://atcold.github.io/pytorch-Deep-Learning/fr/week10/10/

0:00:00 - Semaine 10 - Travaux dirigés

Travaux dirigés : https://atcold.github.io/pytorch-Deep-Learning/fr/week10/10-3/
Nous explorons le problème du « Truck Backer-Upper » (Nguyen & Widrow, '90). Ce problème montre comment résoudre un problème de contrôle non linéaire à l'aide de réseaux neuronaux. Nous apprenons un modèle de la cinématique d'un camion et optimisons un contrôleur à l'aide de ce modèle appris. Nous constatons que le contrôleur est capable d'apprendre des comportements complexes à partir de données purement observationnelles.
0:00:59 - Mise en place et visualisation du problème d'auto-apprentissage « The Truck Backer-Upper »
0:19:44 - Entraînement du modèle de réseaux neuronaux pour l'émulateur et le contrôleur
0:38:48 - Compréhension du code PyTorch

Semaine 11 – CM : Fonctions d’activation et de perte sur PyTorch

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Yann Le Cun
Traduction : Loïck Bourdois
Semaine 11 : https://atcold.github.io/pytorch-Deep-Learning/fr/week11/11/

0:00:00 - Semaine 11 - Cours magistral

Cours magistral partie A : https://atcold.github.io/pytorch-Deep-Learning/fr/week11/11-1/
Dans cette section, nous discutons des fonctions d'activation courantes dans Pytorch. En particulier, nous comparons les activations avec coude(s) et les activations lisses - la première est préférée dans un réseau neuronal profond car la seconde peut souffrir du problème de disparition du gradient. Nous apprenons ensuite à connaître les fonctions de perte courantes dans Pytorch.
0:00:15 - Fonctions d'activation
0:14:21 - Q&R sur l'activation
0:33:10 - Fonctions de perte (jusqu'à AdaptiveLogSoftMax)

Cours magistral partie B : https://atcold.github.io/pytorch-Deep-Learning/fr/week11/11-2/
Dans cette partie, nous continuons à apprendre les fonctions de perte - en particulier, les pertes basées sur la marge et leurs applications. Nous discutons ensuite de la manière de concevoir une bonne fonction de perte pour les EBMs ainsi que des exemples de fonctions de perte EBM bien connues. Nous accordons une attention particulière à la fonction de perte basée sur la marge ici, ainsi que d'expliquer l'idée de réponse incorrecte la plus offensante.
0:53:27 - Fonctions de perte (jusqu'à CosineEmbeddingLoss)
1:08:23 - Fonctions de perte et fonctions de perte pour les EBMs
1:23:18 - Fonctions de perte pour les pour les EBMs

Semaine 11 – TD : La prédiction et l’apprentissage de politique sous contrainte (PPUU)

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Alfredo Canziani
Traduction : Loïck Bourdois
Semaine 11 : https://atcold.github.io/pytorch-Deep-Learning/fr/week11/11/

0:00:00 - Semaine 11 - Travaux dirigés

Travaux dirigés : https://atcold.github.io/pytorch-Deep-Learning/fr/week11/11-3/
Nous proposons un apprentissage efficace des politiques de conduite dans un trafic dense. Nous entraînons plusieurs politiques en déroulant un modèle appris de la dynamique du monde réel en optimisant différentes fonctions de coût. L'idée est de minimiser l'incertitude dans la prédiction du modèle en introduisant un terme de coût qui représente la divergence du modèle par rapport aux états sur lesquels il est entraîné.
0:01:03 - Introduction au problème et au décodeur prédictif déterministe
0:29:39 - Modèle prédictif variationnel et insensibilité à l'action
0:53:52 - Entraînement de l'agent avec différentes stratégies et évaluation de celles-ci

Semaine 12 – CM : Apprentissage profond pour le traitement du langage naturel

No translation for this video.

Semaine 12 – TD : L’attention et le Transformer

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Alfredo Canziani
Traduction : Loïck Bourdois
Semaine 12 : https://atcold.github.io/pytorch-Deep-Learning/fr/week12/12/

0:00:00 - Semaine 12 - Travaux dirigés

Travaux dirigés : https://atcold.github.io/pytorch-Deep-Learning/fr/week12/12-3/
Nous introduisons l'attention, en nous concentrant sur l'auto-attention et ses représentations en couche cachée des entrées. Ensuite, nous introduisons le paradigme du magasin clé-valeur et discutons de la façon de représenter les requêtes, les clés et les valeurs comme des rotations d'une entrée. Enfin, nous utilisons l'attention pour interpréter l'architecture du transformer, en effectuant un passage en avant à travers un transformer de base et en comparant le paradigme de l'encodeur-décodeur aux architectures séquentielles.
0:01:09 - L'attention
0:17:36 - Magasin clé-valeur
0:35:14 - Transformer et implémentation PyTorch
0:54:00 – Quetions/Réponses

Semaine 13 – CM : Les réseaux de neurones convolutifs pour graphes (GCNs)

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Xavier Bresson
Traduction : Loïck Bourdois
Semaine 13 : https://atcold.github.io/pytorch-Deep-Learning/fr/week13/13/

0:00:00 - Semaine 13 – Cours magistral

Cours magistral partie A : https://atcold.github.io/pytorch-Deep-Learning/fr/week13/13-1/
Dans cette section, nous discutons de l'architecture et de la convolution des réseaux de neurones convolutifs traditionnels. Ensuite, nous nous étendons au domaine des graphes. Nous comprenons les caractéristiques des graphes et définissons la convolution des graphes. Enfin, nous introduisons les réseaux de neurones convolutifs pour graphes spectraux et discutons de la manière de réaliser la convolution spectrale.
0:00:50 - Architecture des réseaux de neurones convolutifs traditionnels
0:13:11 - Convolution des ConvNets traditionnels
0:25:29 - Convolution spectrale

Cours magistral partie B : https://atcold.github.io/pytorch-Deep-Learning/fr/week13/13-2/
Cette section couvre le spectre complet des réseaux convolutifs pour graphe (GCN), en commençant par l'implémentation de la convolution spectrale à travers les réseaux spectraux. Elle donne ensuite un aperçu de l'applicabilité aux graphes de la définition de la convolution via la template matching, ce qui conduit aux réseaux spatiaux. Différentes architectures employant les deux approches sont détaillées avec leurs avantages et inconvénients, expériences, benchmarks et applications.
0:44:30 - Les GCNs spectraux
1:06:04 - Template matching, GCNs isotropes et GNNs de référence
1:33:06 - GCNs anisotropes et conclusion

Semaine 13 – TD : Les réseaux de neurones pour graphes (GNNs)

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Alfredo Canziani
Traduction : Loïck Bourdois
Semaine 13 : https://atcold.github.io/pytorch-Deep-Learning/fr/week13/13/

0:00:00 - Semaine 13 - Travaux dirigés

Travaux dirigés : https://atcold.github.io/pytorch-Deep-Learning/fr/week13/13-3/
Dans cette section, nous présentons le Graph Convolutional Network (GCN) qui est un type d'architecture qui utilise la structure des données. En fait, le concept de GCN est étroitement lié à l'auto-attention. Après avoir compris la notation générale, la représentation et les équations du GCN, nous plongeons dans la théorie et le code d'un type spécifique de GCN connu sous le nom de Residual Gated GCN.
0:00:47 - Introduction au réseau convolutif pour graphe (GCN)
0:16:32 - Théorie et code du Residual Gated GCN
0:34:58 - Implémentation et entraînement du Residual Gated GCN

Semaine 14 – CM : Prédiction utilisant la structure avec les EBMs

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Yann Le Cun
Traduction : Loïck Bourdois
Semaine 14 : https://atcold.github.io/pytorch-Deep-Learning/fr/week14/14/

0:00:00 - Semaine 14 - Cours magistral

Cours magistral partie A : https://atcold.github.io/pytorch-Deep-Learning/fr/week14/14-1/
Dans cette partie, nous abordons la prédiction basée sur la structure. Nous présentons d'abord le graphe factoriel basé sur l'énergie et l'inférence efficace pour celui-ci. Nous donnons ensuite quelques exemples de graphes factoriels simples basés sur l'énergie avec des facteurs « peu profonds ». Enfin, nous avons discutons du Graph Transformer Net.
0:00:25 - Prédiction basée sur la structure, graphes factoriels basés sur l'énergie, étiquetage des séquences
0:18:06 - Inférence efficace pour les graphes factoriels basés sur l'énergie et quelques graphes factoriels simples basés sur l'énergie
0:43:30 - Graph Transformer Net

Cours magistral partie B : https://atcold.github.io/pytorch-Deep-Learning/fr/week14/14-2/
La deuxième partie du cours traite de l'application des méthodes de modèles graphiques aux modèles à base d'énergie. Après avoir passé un certain temps à comparer différentes fonctions de perte, nous discutons de l'application de l'algorithme de Viterbi et de l'algorithme forward aux Graph Transformer Net. Nous passons ensuite à la formulation lagrangienne de la rétropropagation et à l'inférence variationnelle pour les modèles à base d'énergie.
1:00:22 - Comparaison des pertes et le début des modèles de langage en tant que graphes
1:15:18 - Algorithme de rétropropagation dans les Graph Transformer Nets
1:32:53 - Formulation lagrangienne de la rétropropagation et ODE neuronale
1:48:42 - Inférence variationnelle en termes d'énergie

Semaine 14 – TD : Surapprentissage et régularisation, et réseaux de neurones bayésiens

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Alfredo Canziani
Traduction : Loïck Bourdois
Semaine 14 : https://atcold.github.io/pytorch-Deep-Learning/fr/week14/14/

0:00:00 - Semaine 14 - Travaux dirigés

Travaux dirigés : https://atcold.github.io/pytorch-Deep-Learning/fr/week14/14-3/
Lors de l'entraînement de modèles hautement paramétrés tels que les réseaux de neurones profonds, il existe un risque de surentraînement aux données d'entraînement. Cela conduit à une plus grande erreur de généralisation. Pour aider à réduire le surentraînement, nous pouvons introduire une régularisation dans notre entraînement, en décourageant certaines solutions pour diminuer la mesure dans laquelle nos modèles s'adapteront au bruit.
0:01:41 – Le surentraînement et la régularisation
0:18:11 - Régularisation de modèle (L2, L1, dropout, normalisation par batch et augmentation de données)
0:49:30 - Visualisation de la régularisation et du surentraînement, réseaux neuronaux bayésiens

Semaine 15 – TD partie A : Inférence pour les EBMs à variable latente

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Alfredo Canziani
Traduction : Loïck Bourdois
Semaine 15 : https://atcold.github.io/pytorch-Deep-Learning/fr/week15/15/

0:00:00 - Semaine 15 - Travaux dirigés partie A

Travaux dirigés : https://atcold.github.io/pytorch-Deep-Learning/fr/week15/15-1/
Lorsque l'on rencontre des données avec plusieurs sorties pour une seule entrée, les réseaux feed-forward ne peuvent pas capturer de telles dépendances implicites. Au lieu de cela, les modèles à base d'énergie (EBMs) à variables latentes viennent à la rescousse. Nous développons un exemple d'ellipse avec une entrée fixe et la formulation optimale du modèle. Ensuite, nous appliquons les EBMs à variables latentes pour inférer les meilleures variables latentes qui peuvent apprendre les relations implicites.
0:00:46 - Données d'entraînement et définition du modèle
0:18:08 - Énergie et énergie libre pour deux échantillons d'entraînement
0:37:21 - Estimation de l'énergie libre dense

Semaine 15 – TD partie B : Entraînement des EBMs à variable latente

Site web du cours : https://atcold.github.io/pytorch-Deep-Learning/fr/
Playlist : http://bit.ly/pDL-YouTube
Orateur : Alfredo Canziani
Traduction : Loïck Bourdois
Semaine 15 : https://atcold.github.io/pytorch-Deep-Learning/fr/week15/15/

0:00:00 - Semaine 15 – Travaux dirigés partie B

Travaux dirigés partie B : https://atcold.github.io/pytorch-Deep-Learning/fr/week15/15-2/
Cette section commence par introduire une version relaxée de l'énergie libre en modifiant la température pour lisser la fonction d'énergie. Ensuite, nous démontrons comment former des EBMs en minimisant les fonctions de perte avec plusieurs exemples. Enfin, nous donnons un exemple concret d'apprentissage autosupervisé, dans lequel nous entraînons un EBM pour apprendre une variété de données en forme de corne.
0:00:11 - Énergie libre, limite vers zéro de la température et relaxation
0:27:11 - Entraînement d'un EBM
0:42:57 - Conditionnel / autosupervisé

[Atcold]

lecture06.sbc 😞

Weird, I fixed the first one, and the only left one was the second one.

[lbourdois]

I'll have to do a tiny PR to correct a few things on the website. Let me know if there is anything that needs to be fixed regarding the translation of the videos.

[Atcold]

I'm pushing now a cumulative update for all broken French captions.
There is another video, though, which does not have a transcript or is mentioned on the English website.
Shall we translate it as well?

Also, I've just finished uploading all the captions and filling in the translations. It took “some” time, LOL.

[Atcold]

I think this is AWESOME!

[lbourdois]

I'm manually writing down the website corrections I should make, let me know when you're done so I can make a fork once everything is done to avoid conflicts.

As a video not mentioned on the site, there is also this one.
Translating these two videos would probably take me 2 weeks. Which would delay the release (and I think by a lot with the end of the year holidays). I don't know if it's worth it right now. And even if I have to translate new videos, it might be more interesting to translate more recent content like the 2021 edition.

[lbourdois]

I think this is AWESOME!

Putain que c'est beau 🤩

[Atcold]

I think I can tweet this image.
Feel free to suggest the tweet content.

[lbourdois]

I'm finishing the mini PR and I'm writing you a little text in french to put with the pictures.

I had created a twitter account just in case (https://twitter.com/BdsLoick) which I don't use for the moment.
If needed, I could use it to make a thread in French on it mentioning you and Yann (to present the translated content in more detail and try to drain the possible French questions on it so that I answer them instead of you who must be less comfortable in French).