Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting, Xi Ye+, N/A, EMNLP'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2302.04813

Affiliations

• Xi Ye, N/A
• Greg Durrett, N/A

Abstract

• Recent work has shown how to prompt large language models with explanationsto obtain strong performance on textual reasoning tasks, i.e., thechain-of-thought paradigm. However, subtly different explanations can yieldwidely varying downstream task accuracy. Explanations that have not been"tuned" for a task, such as off-the-shelf explanations written by nonexperts,may lead to mediocre performance. This paper tackles the problem of how tooptimize explanation-infused prompts in a blackbox fashion. We first generatesets of candidate explanations for each example in the prompt using aleave-one-out scheme, then find an effective combination of these explanationswith a two-stage framework. We first evaluate explanations for each in-contextexample in isolation according to two proxy metrics, log likelihood andaccuracy on new examples. Then, we search over combinations of explanations tofind one that yields high performance against a silver-labeled development set.Across four textual reasoning tasks spanning question answering, mathematicalreasoning, and natural language inference, results show that our proxy metricscorrelate with ground truth accuracy and our overall method can effectivelyimprove prompts over crowdworker annotations and naive search strategies

Translation (by gpt-3.5-turbo)

• 最近の研究では、大規模言語モデルに説明を与えてテキスト推論タスクで強力なパフォーマンスを得る方法が示されています。つまり、chain-of-thoughtパラダイムです。しかし、微妙に異なる説明は、下流タスクの精度に大きな違いをもたらすことがあります。タスクに対して"調整"されていない説明、つまり非専門家によって書かれた汎用の説明は、平凡なパフォーマンスをもたらす可能性があります。本論文では、ブラックボックスの方法で説明を組み込んだプロンプトを最適化する方法に取り組んでいます。まず、各例のプロンプトに対してleave-one-outスキームを使用して候補の説明セットを生成し、その後、これらの説明を効果的に組み合わせるための二段階フレームワークを見つけます。まず、各コンテキスト例に対して説明を独立して評価し、二つのプロキシメトリクス、対数尤度と新しい例での精度に従います。その後、説明の組み合わせを検索して、シルバーラベルの開発セットに対して高いパフォーマンスをもたらすものを見つけます。質問回答、数学的推論、自然言語推論を含む4つのテキスト推論タスクを対象とした結果では、プロキシメトリクスが真の精度と相関し、全体的な方法がクラウドワーカーの注釈や単純な検索戦略よりも効果的にプロンプトを改善できることが示されています。

Summary (by gpt-3.5-turbo)

• 最近の研究では、大規模言語モデルを使用してテキスト推論タスクで強力なパフォーマンスを達成する方法が提案されています。本研究では、ブラックボックスの方法を使用して説明を組み込んだプロンプトを最適化するアプローチに焦点を当てています。leave-one-outスキームを使用して候補の説明セットを生成し、二段階フレームワークを使用してこれらの説明を効果的に組み合わせます。実験結果では、プロキシメトリクスが真の精度と相関し、クラウドワーカーの注釈や単純な検索戦略よりも効果的にプロンプトを改善できることが示されました。