エンコーダ.md

Note

guid: N.xb$D+XLr
notetype: AI-Vocabulary-Style

Tags

Front

エンコーダ

Back-EN

Encoder

Back-FR

Encodeur

Reading

Sentence

各エンコーダは、セルフ・アテンション機構および point-wise フィードフォワードサブレイヤの2コンポーネントで構成されている。 セルフ・アテンション機構は、前のエンコーダからの一連の入力エンコーディングを取り込み、それらの相互の関連性を重み付けして、一連の出力エンコーディングを生成する。 次にFFサブレイヤは、各出力エンコーディングを個別にさらに処理する。これらの出力エンコーディングは、最終的に、デコーダに加えて次のエンコーダへの入力として渡される。最初のエンコーダは、エンコードではなく、位置情報と入力シーケンスの埋め込みを入力として受け取る。