Reprompting: Automated Chain-of-Thought Prompt Inference Through Gibbs Sampling, Weijia Xu+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2305.09993

Affiliations

• Weijia Xu, N/A
• Andrzej Banburski-Fahey, N/A
• Nebojsa Jojic, N/A

Abstract

• We introduce Reprompting, an iterative sampling algorithm that searches forthe Chain-of-Thought (CoT) recipes for a given task without human intervention.Through Gibbs sampling, we infer CoT recipes that work consistently well for aset of training samples. Our method iteratively samples new recipes usingpreviously sampled solutions as parent prompts to solve other trainingproblems. On five Big-Bench Hard tasks that require multi-step reasoning,Reprompting achieves consistently better performance than the zero-shot,few-shot, and human-written CoT baselines. Reprompting can also facilitatetransfer of knowledge from a stronger model to a weaker model leading tosubstantially improved performance of the weaker model. Overall, Repromptingbrings up to +17 point improvements over the previous state-of-the-art methodthat uses human-written CoT prompts.

Translation (by gpt-3.5-turbo)

• 本研究では、人間の介入なしに、特定のタスクのChain-of-Thought（CoT）レシピを探索する反復サンプリングアルゴリズムであるRepromptingを紹介する。Gibbsサンプリングを通じて、一連のトレーニングサンプルに対して一貫して良い結果を出すCoTレシピを推論する。本手法は、以前にサンプリングされた解決策を親プロンプトとして使用して、他のトレーニング問題を解決するために新しいレシピを反復的にサンプリングする。複数のステップ推論が必要な5つのBig-Bench Hardタスクにおいて、Repromptingはゼロショット、フューショット、および人間が書いたCoTベースラインよりも一貫して優れたパフォーマンスを発揮する。Repromptingは、より強力なモデルからより弱いモデルへの知識の転移を促進し、より弱いモデルの性能を大幅に向上させることもできる。全体的に、Repromptingは、人間が書いたCoTプロンプトを使用する従来の最先端手法よりも最大で+17ポイントの改善をもたらす。

Summary (by gpt-3.5-turbo)

• 本研究では、Repromptingという反復サンプリングアルゴリズムを紹介し、Chain-of-Thought（CoT）レシピを探索することで、特定のタスクを解決する。Repromptingは、以前にサンプリングされた解決策を親プロンプトとして使用して、新しいレシピを反復的にサンプリングすることで、一貫して良い結果を出すCoTレシピを推論する。複数のステップ推論が必要な5つのBig-Bench Hardタスクにおいて、Repromptingはゼロショット、フューショット、および人間が書いたCoTベースラインよりも一貫して優れたパフォーマンスを発揮する。Repromptingは、より強力なモデルからより弱いモデルへの知識の転移を促進し、より弱いモデルの性能を大幅に向上させることもできる。全体的に、Repromptingは、人間が書いたCoTプロンプトを使用する従来の最先端手法よりも最大で+17ポイントの改善をもたらす。

[AkihikoWatanabe]

んー、IterCoTとかAutoPromptingとかと比較してないので、なんとも言えない…。サーベイ不足では。あとChatGPTを使うのはやめて頂きたい。