Skip to content

Commit

Permalink
Ajoute référence au post de Raschka (#398)
Browse files Browse the repository at this point in the history
  • Loading branch information
linogaliana committed Aug 28, 2023
1 parent 9977c5d commit 862ea4b
Showing 1 changed file with 18 additions and 1 deletion.
19 changes: 18 additions & 1 deletion content/NLP/index.qmd
Expand Up @@ -124,6 +124,19 @@ communs ?) mais aussi sur leur proximité sémantique (partagent-ils un thème o

[^embedding]: Un exemple d'intérêt de ce type d'approche est la @fig-relevanc-table-embedding.

Comme l'illustre la figure suivante, empruntée à [Sebastian Raschka](https://magazine.sebastianraschka.com/p/understanding-encoder-and-decoder), les concepts que nous allons aborder
dans cette partie sont indispensables pour être en mesure
d'entraîner ou réutiliser ultérieurement un modèle
sophistiqué d'analyse du langage:

::: {#fig-encoder}

![Surus](surus.png){#fig-surus}

Illustration of the original transformer architecture proposed in [Attention Is All You Need, 2017](https://arxiv.org/abs/1706.03762)
(source: [Sebastien Raschka](https://magazine.sebastianraschka.com/p/understanding-encoder-and-decoder))
:::


## Pour aller plus loin {-}

Expand All @@ -133,4 +146,8 @@ unique ne compilera pas l'ensemble des connaissances, _a fortiori_ dans
un champ de recherche aussi dynamique que le NLP.

Pour approfondir les compétences évoquées dans ce cours, je recommande vivement
ce [cours d'`HuggingFace`](https://huggingface.co/course/chapter1/2?fw=pt).
ce [cours d'`HuggingFace`](https://huggingface.co/course/chapter1/2?fw=pt).

Pour comprendre l'architecture interne d'un LLM,
ce [post de Sebastian Raschka](https://magazine.sebastianraschka.com/p/understanding-encoder-and-decoder)
est très utile.

0 comments on commit 862ea4b

Please sign in to comment.