CLINE: Contrastive Learning with Semantic Negative Examples for Natural Language Understanding [2021]

[Sosuke115]

論文リンク

https://arxiv.org/pdf/2107.00440.pdf

概要

意味は似ているが推論を間違えさせる敵対的サンプルを正例、意味が正反対なサンプル（contrastive examples）を負例として
contrastive learning。

sentiment analysis、reading comprehension、NLIなどいくつかのデータセットで性能向上かつよりロバストに
また、contrastive examplesにもロバストなモデルを実現