Are Human Explanations Always Helpful? Towards Objective Evaluation of Human Natural Language Explanations

[AkihikoWatanabe]

https://virtual2023.aclweb.org/paper_P4908.html#abstract

[AkihikoWatanabe]

Human-annotated labels and explanations are critical for training explainable NLP models. However, unlike human-annotated labels whose quality is easier to calibrate (e.g., with a majority vote), human-crafted free-form explanations can be quite subjective. Before blindly using them as ground truth to train ML models, a vital question needs to be asked: How do we evaluate a human-annotated explanation's quality? In this paper, we build on the view that the quality of a human-annotated explanation can be measured based on its helpfulness (or impairment) to the ML models' performance for the desired NLP tasks for which the annotations were collected. In comparison to the commonly used Simulatability score, we define a new metric that can take into consideration the helpfulness of an explanation for model performance at both fine-tuning and inference. With the help of a unified dataset format, we evaluated the proposed metric on five datasets (e.g., e-SNLI) against two model architectures (T5 and BART), and the results show that our proposed metric can objectively evaluate the quality of human-annotated explanations, while Simulatability falls short.

Translation (by gpt-3.5-turbo)

• 人間による注釈付けと説明は、説明可能なNLPモデルのトレーニングにおいて重要です。しかし、人間による注釈付けは、品質を調整するのが比較的容易な人間による注釈付けとは異なり、自由形式の説明はかなり主観的なものになることがあります。MLモデルをトレーニングするためのグラウンドトゥルースとして盲目的に使用する前に、重要な問題が浮かび上がります。つまり、人間による注釈付けの説明の品質をどのように評価するのでしょうか？本論文では、人間による注釈付けの説明の品質は、注釈が収集されたNLPタスクのモデルのパフォーマンスに対する助け（または悪影響）に基づいて測定できるという視点を基にしています。一般的に使用されるSimulatabilityスコアと比較して、私たちは新しいメトリックを定義しました。このメトリックは、微調整と推論の両方でモデルのパフォーマンスに対する説明の助けを考慮に入れることができます。統一されたデータセット形式の支援を受けて、私たちは提案されたメトリックを5つのデータセット（例：e-SNLI）と2つのモデルアーキテクチャ（T5とBART）で評価しました。その結果、私たちの提案したメトリックは、人間による注釈付けの説明の品質を客観的に評価することができる一方、Simulatabilityは不十分であることが示されました。

Summary (by gpt-3.5-turbo)

• 本研究では、説明可能なNLPモデルのトレーニングにおいて、人間による注釈付けの説明の品質を評価する方法について検討しています。従来のSimulatabilityスコアに代わる新しいメトリックを提案し、5つのデータセットと2つのモデルアーキテクチャで評価しました。結果として、提案したメトリックがより客観的な評価を可能にする一方、Simulatabilityは不十分であることが示されました。