Explaining Patterns in Data with Language Models via Interpretable Autoprompting, Chandan Singh+, N/A, arXiv'22

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2210.01848

Affiliations

• Chandan Singh, N/A
• John X. Morris, N/A
• Jyoti Aneja, N/A
• Alexander M. Rush, N/A
• Jianfeng Gao, N/A

Abstract

• Large language models (LLMs) have displayed an impressive ability to harnessnatural language to perform complex tasks. In this work, we explore whether wecan leverage this learned ability to find and explain patterns in data.Specifically, given a pre-trained LLM and data examples, we introduceinterpretable autoprompting (iPrompt), an algorithm that generates anatural-language string explaining the data. iPrompt iteratively alternatesbetween generating explanations with an LLM and reranking them based on theirperformance when used as a prompt. Experiments on a wide range of datasets,from synthetic mathematics to natural-language understanding, show that iPromptcan yield meaningful insights by accurately finding groundtruth datasetdescriptions. Moreover, the prompts produced by iPrompt are simultaneouslyhuman-interpretable and highly effective for generalization: on real-worldsentiment classification datasets, iPrompt produces prompts that match or evenimprove upon human-written prompts for GPT-3. Finally, experiments with an fMRIdataset show the potential for iPrompt to aid in scientific discovery. All codefor using the methods and data here is made available on Github.

Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）は、自然言語を利用して複雑なタスクを実行する能力を示しています。本研究では、この学習済みモデルの能力を活用してデータのパターンを見つけ出し説明することができるかを探求します。具体的には、事前学習済みのLLMとデータの例が与えられた場合、解釈可能な自動プロンプティング（iPrompt）というアルゴリズムを導入します。iPromptは、LLMを使用してデータを説明する自然言語の文字列を生成するために、生成と再ランキングを繰り返し行います。さまざまなデータセット（合成数学から自然言語理解まで）での実験結果は、iPromptが正確なデータセットの説明を見つけ出すことで意味のある洞察を提供できることを示しています。さらに、iPromptによって生成されるプロンプトは、人間にも理解可能であり、汎化に非常に効果的です。実世界の感情分類データセットでは、iPromptはGPT-3のために人間が書いたプロンプトと一致するか、さらに改善するプロンプトを生成します。最後に、fMRIデータセットを用いた実験では、iPromptが科学的な発見に役立つ可能性を示しています。ここで使用する方法とデータのすべてのコードは、Githubで公開されています。

Summary (by gpt-3.5-turbo)

• 本研究では、大規模言語モデル（LLMs）を使用してデータのパターンを説明する能力を探求しました。具体的には、事前学習済みのLLMを使用してデータを説明する自然言語の文字列を生成するアルゴリズムを導入しました。実験結果は、このアルゴリズムが正確なデータセットの説明を見つけ出すことができることを示しています。また、生成されるプロンプトは人間にも理解可能であり、実世界のデータセットやfMRIデータセットで有用な洞察を提供することができることも示されました。