We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
https://aclanthology.org/events/naacl-2021/#2021-naacl-main
興味ありそうなNAACL2021の論文をテーマ別にまとめていく
Sentence embedding Sentence representation Contrastive learning Multilingual sentence embedding
意味情報と文法情報を分離させるようにBARTのSentence embeddingを学習する手法。
Sentence embeddingには意味情報と文法情報が混在しているため、一部の意味情報が効くタスクには活用し切れていない。 (文法が違う場合、性能が下がる) →「Semantics」は同じだが「Syntactic」が異なるパラフレーズのペアを利用したParaBARTを提案
図のように 入力にはパラフレーズのソース分とターゲット文の構文木を入力し、それぞれ専用のエンコーダーで意ソース文埋め込み表現Aとターゲット文文法埋め込み表現Bに変換する。 構文情報をAから取り除くためにSyntax Discriminatorを導入し、
Unsupervised STSで評価 また、文法系のタスクで性能が低いこと(文法情報を含んでいないこと)を示し、 パラフレーズ検知で文法の違いにロバストであることを示した。
BARTについて
The text was updated successfully, but these errors were encountered:
Sosuke115
No branches or pull requests
リンク
https://aclanthology.org/events/naacl-2021/#2021-naacl-main
概要
興味ありそうなNAACL2021の論文をテーマ別にまとめていく
気になっているキーワード
Sentence embedding
Sentence representation
Contrastive learning
Multilingual sentence embedding
Sentence embedding
意味情報と文法情報を分離させるようにBARTのSentence embeddingを学習する手法。
Sentence embeddingには意味情報と文法情報が混在しているため、一部の意味情報が効くタスクには活用し切れていない。
![Screen Shot 2021-07-09 at 16 45 35](https://user-images.githubusercontent.com/44390274/125042684-1763bb80-e0d5-11eb-9dda-847a448f874b.png)
(文法が違う場合、性能が下がる)
→「Semantics」は同じだが「Syntactic」が異なるパラフレーズのペアを利用したParaBARTを提案
図のように
入力にはパラフレーズのソース分とターゲット文の構文木を入力し、それぞれ専用のエンコーダーで意ソース文埋め込み表現Aとターゲット文文法埋め込み表現Bに変換する。
構文情報をAから取り除くためにSyntax Discriminatorを導入し、
Unsupervised STSで評価
また、文法系のタスクで性能が低いこと(文法情報を含んでいないこと)を示し、
パラフレーズ検知で文法の違いにロバストであることを示した。
BARTについて
Multilinguality
Knowledge Base
The text was updated successfully, but these errors were encountered: