InstructZero: Efficient Instruction Optimization for Black-Box Large Language Models, Lichang Chen+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs//2306.03082

Affiliations

• Lichang Chen, N/A
• Jiuhai Chen, N/A
• Tom Goldstein, N/A
• Heng Huang, N/A
• Tianyi Zhou, N/A

Abstract

• Large language models~(LLMs) are instruction followers, but it can bechallenging to find the best instruction for different situations, especiallyfor black-box LLMs on which backpropagation is forbidden. Instead of directlyoptimizing the discrete instruction, we optimize a low-dimensional soft promptapplied to an open-source LLM to generate the instruction for the black-boxLLM. On each iteration of the proposed method, which we call InstructZero, asoft prompt is converted into an instruction using the open-source LLM, whichis then submitted to the black-box LLM for zero-shot evaluation, and theperformance is sent to Bayesian optimization to produce new soft promptsimproving the zero-shot performance. We evaluate InstructZero on differentcombinations of open-source LLMs and APIs including Vicuna and ChatGPT. Ourresults show that InstructZero outperforms SOTA auto-instruction methods acrossa variety of downstream tasks. Our code and data are publicly available athttps://github.com/Lichang-Chen/InstructZero.

Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）は指示に従うものですが、異なる状況に最適な指示を見つけることは課題であり、特にバックプロパゲーションが禁止されているブラックボックスLLMsの場合はさらに困難です。離散的な指示を直接最適化する代わりに、オープンソースLLMに適用される低次元のソフトプロンプトを最適化して、ブラックボックスLLMの指示を生成します。提案手法であるInstructZeroでは、各反復で、オープンソースLLMを使用してソフトプロンプトを指示に変換し、ブラックボックスLLMに提出してゼロショット評価を行い、パフォーマンスをベイズ最適化に送信して、ゼロショットパフォーマンスを改善する新しいソフトプロンプトを生成します。VicunaやChatGPTなどのオープンソースLLMとAPIの異なる組み合わせでInstructZeroを評価しました。結果は、InstructZeroが様々な下流タスクでSOTA自動指示手法を上回ることを示しています。コードとデータはhttps://github.com/Lichang-Chen/InstructZeroで公開されています。

Summary (by gpt-3.5-turbo)

• LLMsの指示を最適化するために、オープンソースLLMに適用される低次元のソフトプロンプトを最適化する提案手法であるInstructZeroを紹介。オープンソースLLMを使用してソフトプロンプトを指示に変換し、ブラックボックスLLMに提出してゼロショット評価を行い、パフォーマンスをベイズ最適化に送信して、新しいソフトプロンプトを生成する。VicunaやChatGPTなどのオープンソースLLMとAPIの異なる組み合わせで評価し、SOTA自動指示手法を上回ることを示した。コードとデータはhttps://github.com/Lichang-Chen/InstructZeroで公開されています。