Exercice 5 : Lemmatisation avec nltk
```
@@ -791,7 +779,6 @@ Optionnel: Effectuer la même tâche avec `spaCy`
Le `WordNetLemmatizer` donnera le résultat suivant :
```{python}
-#| include: false
#| echo: false
#Exercice 5 : WordNetLemmatizer
@@ -835,19 +822,15 @@ ou qui sont plus ou moins *smooth*.
:::
```{python}
-#| include: false
-#| echo: false
+#| output: false
#1. TfIdf de scikit
from sklearn.feature_extraction.text import TfidfVectorizer
tfidf = TfidfVectorizer(stop_words=stopwords.words("english"))
tfs = tfidf.fit_transform(train['Text'])
-#print(tfs)
```
```{python}
-#| echo: true
-
feature_names = tfidf.get_feature_names_out()
corpus_index = [n for n in list(tfidf.vocabulary_.keys())]
import pandas as pd
@@ -903,7 +886,19 @@ La matrice `document x terms` est un exemple typique de matrice _sparse_ puisque
:::
-## Approche contextuelle: les *n-gramms*
+## Approche contextuelle: les *n-grams*
+
+
+Jusqu'à présent, dans l'approche _bag of words_, l'ordre des mots n'avait pas d'importance.
+On considère qu'un texte est une collection de
+mots tirés indépendamment, de manière plus ou moins fréquente en fonction de leur probabilité
+d'occurrence. Cependant, tirer un mot particulier n'affecte pas les chances de tirer certains mots
+ensuite, de manière conditionnelle.
+
+Une manière d'introduire des liens entre les séries de _tokens_ sont les _n-grams_.
+On s'intéresse non seulement aux mots et à leur fréquence, mais aussi aux mots qui suivent. Cette approche est essentielle pour désambiguiser les homonymes. Le calcul de _n-grams_ [^ngrams] constitue la méthode la plus simple pour tenir compte du contexte.
+
+[^ngrams]: On parle de _bigrams_ pour les co-occurences de mots deux-à-deux, _trigrams_ pour les co-occurences trois-à-trois, etc.
Pour être en mesure de mener cette analyse, il est nécessaire de télécharger un corpus supplémentaire :
@@ -914,12 +909,8 @@ nltk.download('genesis')
nltk.corpus.genesis.words('english-web.txt')
```
-Il s'agit maintenant de raffiner l'analyse.
-On s'intéresse non seulement aux mots et à leur fréquence, mais aussi aux mots qui suivent. Cette approche est essentielle pour désambiguiser les homonymes. Elle permet aussi d'affiner les modèles "bag-of-words". Le calcul de n-grams (bigrams pour les co-occurences de mots deux-à-deux, tri-grams pour les co-occurences trois-à-trois, etc.) constitue la méthode la plus simple pour tenir compte du contexte.
-
-
-`nltk` offre des methodes pour tenir compte du contexte : pour ce faire, nous calculons les n-grams, c'est-à-dire l'ensemble des co-occurrences successives de mots n-à-n. En général, on se contente de bi-grams, au mieux de tri-grams :
+`NLTK` offre des methodes pour tenir compte du contexte. Pour ce faire, nous calculons les n-grams, c'est-à-dire l'ensemble des co-occurrences successives de mots n-à-n. En général, on se contente de bi-grams, au mieux de tri-grams:
* les modèles de classification, analyse du sentiment, comparaison de documents, etc. qui comparent des n-grams avec n trop grands sont rapidement confrontés au problème de données sparse, cela réduit la capacité prédictive des modèles ;
* les performances décroissent très rapidement en fonction de n, et les coûts de stockage des données augmentent rapidement (environ n fois plus élevé que la base de données initiale).
@@ -927,11 +918,10 @@ On s'intéresse non seulement aux mots et à leur fréquence, mais aussi aux mot
On va, rapidement, regarder dans quel contexte apparaît le mot `fear` dans
l'oeuvre d'Edgar Allan Poe (EAP). Pour cela, on transforme d'abord
-le corpus EAP en tokens `nltk :
+le corpus EAP en tokens `NLTK` :
```{python}
#| echo: true
-
eap_clean = train[train["Author"] == "EAP"]
eap_clean = ' '.join(eap_clean['Text'])
tokens = eap_clean.split()
@@ -989,9 +979,6 @@ il s'agit de sélectionner, à partir d'un modèle statistique, les "meilleures"
On obtient donc avec cette méthode (question 2):
```{python}
-#| include: false
-#| echo: false
-
# 2. Modélisation des meilleures collocations
bcf = BigramCollocationFinder.from_words(text)
bcf.nbest(BigramAssocMeasures.likelihood_ratio, 20)
@@ -1000,9 +987,6 @@ bcf.nbest(BigramAssocMeasures.likelihood_ratio, 20)
Si on modélise les meilleures collocations:
```{python}
-#| include: false
-#| echo: false
-
# 3. Modélisation des meilleures collocations (qui apparaissent 5+)
finder = nltk.BigramCollocationFinder.from_words(text)
finder.apply_freq_filter(5)
@@ -1021,9 +1005,6 @@ on a des noms de personnages, de lieux mais aussi des termes fréquemment employ
En ce qui concerne les _collocations_ du mot fear:
```{python}
-#| include: false
-#| echo: false
-
# 4. collocations du mot fear
bigram_measures = nltk.collocations.BigramAssocMeasures()
diff --git a/content/NLP/index.qmd b/content/NLP/index.qmd
index 12c6f89ff..ced94ab1b 100644
--- a/content/NLP/index.qmd
+++ b/content/NLP/index.qmd
@@ -6,10 +6,10 @@ categories:
- Introduction
- NLP
description: |
- L'un des grands avantages comparatifs de Python par rapport aux
- langages concurrents (R notamment) est dans
- la richesse des librairies de Traitement du Langage Naturel (mieux
- connu sous son acronyme anglais : NLP pour natural langage processing).
+ L'un des grands avantages comparatifs de {{< fa brands python >}} par rapport aux
+ langages concurrents ({{< fa brands r-project >}} notamment) est dans
+ la richesse des librairies de traitement du langage naturel (mieux
+ connu sous son acronyme anglais : NLP pour _natural langage processing_).
Cette partie vise à illustrer la richesse de cet écosystème à partir
de quelques exemples littéraires : Dumas, Poe, Shelley, Lovecraft.
image: nlp.png
@@ -22,15 +22,15 @@ nous nous sommes jusqu'à présent plutôt consacrés
dimension certes modeste mais qui ouvraient déjà énormément de
problématiques à creuser. Cette partie propose maintenant de se
consacrer à un sujet dont il n'est pas évident _a priori_ que
-les ordinateurs s'emparent: le langage humain et sa richesse.
+les ordinateurs s'emparent: le __langage humain__ et sa richesse.
En effet, si la linguistique propose certes de représenter
de manière conceptuelle le langage sous une forme de données, comment
-des ordinateurs, qui au fond ne connaissent que le 0 et le 1, peuvent-ils
+des ordinateurs, qui au fond ne connaissent que le _0_ et le _1_, peuvent-ils
s'approprier cet objet éminemment complexe qu'est le langage et qu'un
humain met lui-même des années à comprendre et s'approprier ?[^blague]
-[^blague]: En écrivant ces lignes j'ai demandé à `ChatGPT` de me faire une blague, la communication entre l'humain et la machine est perfectible :
+[^blague]: En écrivant ces lignes j'ai demandé à `ChatGPT` de me faire une blague.
> Pourquoi les programmeurs détestent-ils la plage ?
> Parce que le sable change tout le temps de paradigme !
@@ -49,7 +49,7 @@ humain met lui-même des années à comprendre et s'approprier ?[^blague]
Finalement, j'ai trouvé son explication plus drôle que sa blague.
-Le traitement du langage naturel - traduction française du concept de
+Le traitement automatique du langage - traduction française du concept de
_natural language processing_ (NLP) - est l'ensemble des techniques
permettant aux ordinateurs de comprendre, analyser synthétiser et
générer le langage humain[^1].
@@ -58,20 +58,28 @@ générer le langage humain[^1].
de _text mining_ dont le périmètre était plus spécifique. Le _text mining_
renvoie à la recherche d'information - la fouille - dans un ensemble de
textes. C'est l'un des champs d'applications
-du _natural language processing_ mais ce n'est pas l'unique.
+du _natural language processing_ mais ce n'est pas l'unique.
Il s'agit d'un champ disciplinaire à l'intersection de la statistique
et de la linguistique qui connait depuis quelques années un engouement
-important que ce soit d'un point de vue académique ou opérationnel.
+important, que ce soit d'un point de vue académique ou opérationnel.
Certaines des applications de ces techniques sont devenues incontournables
dans nos tâches quotidiennes, notamment les moteurs de recherche, la traduction
-automatique et plus récemment les _chatbots_.
+automatique et plus récemment les _chatbots_.
+
+## Résumé de la partie
Cette partie du cours est consacrée à l'analyse des données textuelles avec
des exemples de 📖 pour s'amuser. Elle est une introduction progressive
à ce sujet en se concentrant sur des concepts de base, nécessaires à
la compréhension ultérieure de principes plus avancés et de techniques
-sophistiquées[^2].
+sophistiquées[^2]. Cette partie présente principalement:
+
+- Les enjeux de nettoyage de champs textuels
+et d'analyse de fréquence. Il s'agit de NLP un
+peu _old school_ mais dont la compréhension est nécessaire pour aller
+plus loin ;
+- La modélisation du langage, selon plusieurs approches.
[^2]: Par exemple, le concept d'_embedding_ - transformation d'un champ
textuel en un vecteur numérique multidimensionnel - aujourd'hui central
@@ -83,7 +91,7 @@ TF-IDF (_term frequency - inverse document frequency_). Dans une
optique introductive, ce cours se focalise donc sur ces derniers pour faciliter
l'ouverture ultérieure de la boite de Pandore que sont les _embeddings_.
-## Résumé de la partie {.unnumbered}
+### Nettoyages textuels et analyse de fréquences
`Python` est un excellent outil pour l'analyse de données textuelles.
Les méthodes de base ou les librairies spécialisées
@@ -100,14 +108,22 @@ analyse statistique :
* Elle propose d'abord une introduction aux enjeux du nettoyage des données
textuelles à travers l'analyse du *Comte de Monte Cristo* d'Alexandre Dumas
-[ici](/01_intro) qui permet de synthétiser rapidement l'information disponible
+[ici](/content/NLP/01_intro.qmd) qui permet de synthétiser rapidement l'information disponible
dans un large volume de données (à l'image de la @fig-wordcloud-dumas)
* Elle propose ensuite une série d'exercices sur le nettoyage de textes à partir des
oeuvres d'Edgar Allan Poe, Mary Shelley et H.P. Lovecraft visant à distinguer la
spécificité du vocabulaire employé par chaque auteurs (par exemple @fig-waffle-fear). Ces exercices sont
-disponibles [dans le deuxième chapitre](/02_exoclean) de la partie.
+disponibles [dans le deuxième chapitre](/content/NLP/01_exoclean.html) de la partie.
+
+
+### Modélisation du langage
-Ensuite, nous proposerons d'explorer une approche alternative, prenant en compte
+La suite de cette partie proposera une introduction aux enjeux de modélisation
+du langage. Ceux-ci sont très à la mode du fait du succès de `ChatGPT`. Néanmoins, avant
+d'en arriver aux LLM, il est nécessaire de passer par quelques modélisations
+préliminaires.
+
+Nous proposerons d'abord d'explorer une approche alternative, prenant en compte
le contexte d'apparition d'un mot. L'introduction à la
_Latent Dirichlet Allocation_ (LDA) sera l'occasion de présenter la modélisation
de documents sous la forme de *topics*.
@@ -150,4 +166,99 @@ ce [cours d'`HuggingFace`](https://huggingface.co/course/chapter1/2?fw=pt).
Pour comprendre l'architecture interne d'un LLM,
ce [post de Sebastian Raschka](https://magazine.sebastianraschka.com/p/understanding-encoder-and-decoder)
-est très utile.
\ No newline at end of file
+est très utile.
+
+
+Ces chapitres n'épuisent pas les cas d'usage du NLP pour les _data scientists_. Par exemple,
+dans le domaine de la statistique publique, un des principaux cas d'usage du NLP est l'utilisation
+de techniques de classification automatique pour transformer des réponses libres dans des questionnaires
+en champs prédéfinis dans une nomenclature.
+
+Voici un exemple sur un projet de classification automatisée des professions dans la typologie
+des nomenclatures d'activités:
+
+::: {.content-visible when-format="html"}
+
+```{ojs}
+//| echo: false
+viewof activite = Inputs.text(
+ {label: '', value: 'data scientist', width: 800}
+)
+```
+
+
+```{ojs}
+//| echo: false
+d3.json(urlApe).then(res => {
+ var IC, results;
+
+ ({ IC, ...results } = res);
+
+ IC = parseFloat(IC);
+
+ const rows = Object.values(results).map(obj => {
+ return `
+
+ | ${obj.code} | ${obj.libelle} |
+ ${obj.probabilite.toFixed(3)} |
+
+ `;
+ }).join('');
+
+ const confidenceRow = `
+ | Indice de confiance : ${IC.toFixed(3)} |
+
`;
+
+ const tableHTML = html`
+
+
+ Prédiction de l'activité
+
+
+ | Libellé (NA2008) |
+ Probabilité |
+
+ ${rows}
+ ${confidenceRow}
+
`;
+
+ // Now you can use the tableHTML as needed, for example, inserting it into the DOM.
+ // For example, assuming you have a container with the id "tableContainer":
+ return tableHTML;
+});
+```
+
+```{ojs}
+//| echo: false
+activite_debounce = debounce(viewof activite, 2000)
+urlApe = `https://codification-ape-test.lab.sspcloud.fr/predict?nb_echos_max=3&prob_min=0&text_feature=${activite_debounce}`
+```
+
+```{ojs}
+//| echo: false
+import {debounce} from "@mbostock/debouncing-input"
+```
+
+:::
+
+::: {.content-hidden when-format="html"}
+
+```{python}
+import requests
+import pandas as pd
+
+activite = "data scientist"
+urlApe = f"https://codification-ape-test.lab.sspcloud.fr/predict?nb_echos_max=3&prob_min=0&text_feature=${activite}"
+import requests
+data = requests.get(urlApe).json()
+
+# Extract 'IC' value
+IC = data['IC']
+data.pop('IC', None)
+
+df = pd.DataFrame(data.values())
+df['indice_confiance'] = IC
+df
+```
+
+:::
\ No newline at end of file