Plan NLP

[MohamedBsh]

plan proposée par : @Serenalyw (Discord : Serena)

Chapitre I: Introduction

Présentation du NLP

Plan du cours

• Prérequis
• Plan

Etude des données textuelles

• différences avec les données structurées et quels enjeux en découlent
• Pré-traitements:
  • Stemming
  • Lemmatisation
  • Régularisation des expressions
  • Supression des Stop Words
  • Tokenisation

Chapitre II: Notions générales

Modélisation statistique du langage

• Vectorisation de texte : bow, tf-idf
• Modélisation de topics : LDA
• Limite des modèles statistiques

Modèles de langues

• Modèle unigram/bigram/ngram
• Perplexité
• Mise en pratique:
  • Classification unigram/bigram utilisant Naive Bayes/Multinomial Bayes (Comparaison précision unigram et bigram)
  • Génération de texte ngram utilisant une chaîne de Markov

Embeddings

• Word2Vec : modèle skip-gram et CBow
• Glove : Global Vectors
• Mesure de la similarité:
  • Cosine similarity
  • Dot product
• Exploration de topics: tSNE

Chapitre III: NLP & Deep Learning

Les réseaux de neurones récurrents

• RNN
  (Problème du vanishing gradient)
• GRU
• LSTM
• Transformers (Parenthèse sur BERT)
  (Possibilité de réutiliser le TP de Pierrot)

Pipelines NLP

• Image to Text (CLIP openAI)
• Text to Speech / Speech to Text
• Text to Image (DALL-E openAI)