From 862ea4b36029aaf5853f0c86d4acd8c0713e60a5 Mon Sep 17 00:00:00 2001 From: Lino Galiana Date: Mon, 28 Aug 2023 11:07:31 +0200 Subject: [PATCH] =?UTF-8?q?Ajoute=20r=C3=A9f=C3=A9rence=20au=20post=20de?= =?UTF-8?q?=20Raschka=20(#398)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- content/NLP/index.qmd | 19 ++++++++++++++++++- 1 file changed, 18 insertions(+), 1 deletion(-) diff --git a/content/NLP/index.qmd b/content/NLP/index.qmd index 1ded02b9c..3acbadee1 100644 --- a/content/NLP/index.qmd +++ b/content/NLP/index.qmd @@ -124,6 +124,19 @@ communs ?) mais aussi sur leur proximité sémantique (partagent-ils un thème o [^embedding]: Un exemple d'intérêt de ce type d'approche est la @fig-relevanc-table-embedding. +Comme l'illustre la figure suivante, empruntée à [Sebastian Raschka](https://magazine.sebastianraschka.com/p/understanding-encoder-and-decoder), les concepts que nous allons aborder +dans cette partie sont indispensables pour être en mesure +d'entraîner ou réutiliser ultérieurement un modèle +sophistiqué d'analyse du langage: + +::: {#fig-encoder} + +![Surus](surus.png){#fig-surus} + +Illustration of the original transformer architecture proposed in [Attention Is All You Need, 2017](https://arxiv.org/abs/1706.03762) +(source: [Sebastien Raschka](https://magazine.sebastianraschka.com/p/understanding-encoder-and-decoder)) +::: + ## Pour aller plus loin {-} @@ -133,4 +146,8 @@ unique ne compilera pas l'ensemble des connaissances, _a fortiori_ dans un champ de recherche aussi dynamique que le NLP. Pour approfondir les compétences évoquées dans ce cours, je recommande vivement -ce [cours d'`HuggingFace`](https://huggingface.co/course/chapter1/2?fw=pt). \ No newline at end of file +ce [cours d'`HuggingFace`](https://huggingface.co/course/chapter1/2?fw=pt). + +Pour comprendre l'architecture interne d'un LLM, +ce [post de Sebastian Raschka](https://magazine.sebastianraschka.com/p/understanding-encoder-and-decoder) +est très utile. \ No newline at end of file