DeBERTa モデルは、Pengcheng He、Xiaodong Liu、Jianfeng Gao、Weizhu Chen によって DeBERTa: Decoding-enhanced BERT with Disentangled Attendant で提案されました。Google のモデルに基づいています。 2018年にリリースされたBERTモデルと2019年にリリースされたFacebookのRoBERTaモデル。
これは、もつれた注意を解きほぐし、使用されるデータの半分を使用して強化されたマスク デコーダ トレーニングを備えた RoBERTa に基づいて構築されています。 ロベルタ。
論文の要約は次のとおりです。
事前トレーニングされたニューラル言語モデルの最近の進歩により、多くの自然言語モデルのパフォーマンスが大幅に向上しました。 言語処理 (NLP) タスク。この論文では、新しいモデル アーキテクチャ DeBERTa (Decoding-enhanced BERT with これは、2 つの新しい技術を使用して BERT モデルと RoBERTa モデルを改善します。 1つ目は、 もつれを解く注意メカニズム。各単語は、その内容をエンコードする 2 つのベクトルを使用して表現され、 単語間の注意の重みは、それらの単語のもつれ解除行列を使用して計算されます。 内容と相対的な位置。 2 番目に、強化されたマスク デコーダを使用して、出力ソフトマックス レイヤを次のように置き換えます。 モデルの事前トレーニング用にマスクされたトークンを予測します。これら 2 つの手法により効率が大幅に向上することを示します。 モデルの事前トレーニングと下流タスクのパフォーマンスの向上。 RoBERTa-Large と比較すると、DeBERTa モデルは半分のレベルでトレーニングされています。 トレーニング データは幅広い NLP タスクで一貫して優れたパフォーマンスを示し、MNLI で +0.9% の改善を達成しました。 (90.2% 対 91.1%)、SQuAD v2.0 では +2.3% (88.4% 対 90.7%)、RACE では +3.6% (83.2% 対 86.8%) でした。 DeBERTa コードと 事前トレーニングされたモデルは https://github.com/microsoft/DeBERTa で公開されます。
このモデルは DeBERTa によって寄稿されました。このモデルの TF 2.0 実装は、 kamalkraj による寄稿。元のコードは こちら にあります。
DeBERTa を使い始めるのに役立つ公式 Hugging Face およびコミュニティ (🌎 で示される) リソースのリスト。ここに含めるリソースの送信に興味がある場合は、お気軽にプル リクエストを開いてください。審査させていただきます。リソースは、既存のリソースを複製するのではなく、何か新しいものを示すことが理想的です。
- DeBERTa を使用して DeepSpeed を使用して大規模モデルのトレーニングを加速する 方法に関するブログ投稿。
- DeBERTa による 機械学習によるスーパーチャージされた顧客サービス に関するブログ投稿。
- [
DebertaForSequenceClassification] は、この サンプル スクリプト および ノートブック。 - [
TFDebertaForSequenceClassification] は、この サンプル スクリプト および ノートブック。 - テキスト分類タスクガイド
- [
DebertaForTokenClassification] は、この サンプル スクリプト および ノートブック。 - [
TFDebertaForTokenClassification] は、この サンプル スクリプト および ノートブック。 - トークン分類 🤗 ハグフェイスコースの章。
- 🤗 ハグフェイスコースの バイトペアエンコーディングのトークン化 の章。
- トークン分類タスクガイド
- [
DebertaForMaskedLM] は、この サンプル スクリプト でサポートされています。 ノートブック。 - [
TFDebertaForMaskedLM] は、この サンプル スクリプト および ノートブック。 - マスクされた言語モデリング 🤗 顔のハグ コースの章。
- マスク言語モデリング タスク ガイド
- [
DebertaForQuestionAnswering] は、この サンプル スクリプト および ノートブック。 - [
TFDebertaForQuestionAnswering] は、この サンプル スクリプト および ノートブック。 - 質問回答 🤗 ハグフェイスコースの章。
- 質問回答タスク ガイド
[[autodoc]] DebertaConfig
[[autodoc]] DebertaTokenizer - build_inputs_with_special_tokens - get_special_tokens_mask - create_token_type_ids_from_sequences - save_vocabulary
[[autodoc]] DebertaTokenizerFast - build_inputs_with_special_tokens - create_token_type_ids_from_sequences
[[autodoc]] DebertaModel - forward
[[autodoc]] DebertaPreTrainedModel
[[autodoc]] DebertaForMaskedLM - forward
[[autodoc]] DebertaForSequenceClassification - forward
[[autodoc]] DebertaForTokenClassification - forward
[[autodoc]] DebertaForQuestionAnswering - forward
[[autodoc]] TFDebertaModel - call
[[autodoc]] TFDebertaPreTrainedModel - call
[[autodoc]] TFDebertaForMaskedLM - call
[[autodoc]] TFDebertaForSequenceClassification - call
[[autodoc]] TFDebertaForTokenClassification - call
[[autodoc]] TFDebertaForQuestionAnswering - call