[Paper Note] Does Prompt Formatting Have Any Impact on LLM Performance?, Jia He+, arXiv'24, 2024.11

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2411.10541

Authors

• Jia He
• Mukund Rungta
• David Koleczek
• Arshdeep Sekhon
• Franklin X Wang
• Sadid Hasan

Abstract

• In the realm of Large Language Models (LLMs), prompt optimization is crucial for model performance. Although previous research has explored aspects like rephrasing prompt contexts, using various prompting techniques (like in-context learning and chain-of-thought), and ordering few-shot examples, our understanding of LLM sensitivity to prompt templates remains limited. Therefore, this paper examines the impact of different prompt templates on LLM performance. We formatted the same contexts into various human-readable templates, including plain text, Markdown, JSON, and YAML, and evaluated their impact across tasks like natural language reasoning, code generation, and translation using OpenAI's GPT models. Experiments show that GPT-3.5-turbo's performance varies by up to 40% in a code translation task depending on the prompt template, while larger models like GPT-4 are more robust to these variations. Our analysis highlights the need to reconsider the use of fixed prompt templates, as different formats can significantly affect model performance.

Translation (by gpt-4o-mini)

• 大規模言語モデル（LLMs）の領域において、プロンプト最適化はモデルの性能にとって重要です。これまでの研究では、プロンプトコンテキストの言い換え、さまざまなプロンプティング技術（インコンテキスト学習やチェーン・オブ・ソートなど）の使用、少数ショット例の順序付けなどの側面が探求されてきましたが、LLMがプロンプトテンプレートに対してどのように敏感であるかについての理解は限られています。したがって、本論文では、異なるプロンプトテンプレートがLLMの性能に与える影響を調査します。同じコンテキストをプレーンテキスト、Markdown、JSON、YAMLなどのさまざまな人間可読テンプレートにフォーマットし、OpenAIのGPTモデルを使用して自然言語推論、コード生成、翻訳などのタスクにおける影響を評価しました。実験の結果、GPT-3.5-turboの性能は、プロンプトテンプレートによってコード翻訳タスクで最大40%も変動することが示されましたが、GPT-4のような大規模モデルはこれらの変動に対してより堅牢です。我々の分析は、固定プロンプトテンプレートの使用を再考する必要性を強調しており、異なるフォーマットがモデルの性能に大きな影響を与える可能性があることを示しています。

Summary (by gpt-4o-mini)

• プロンプト最適化はLLMの性能に重要であり、異なるプロンプトテンプレートがモデルの性能に与える影響を調査。実験では、GPT-3.5-turboがプロンプトテンプレートによってコード翻訳タスクで最大40%変動する一方、GPT-4はより堅牢であることが示された。これにより、固定プロンプトテンプレートの再考が必要であることが強調された。

[AkihikoWatanabe]

（以下、個人の感想です）
本文のみ斜め読みして、Appendixは眺めただけなので的外れなことを言っていたらすみません。

まず、実務上下記知見は有用だと思いました:

• プロンプトのフォーマットによって性能に大きな差がある
• より大きいモデルの方がプロンプトフォーマットに対してロバスト

ただし、フォーマットによって性能差があるというのは経験的にある程度LLMを触っている人なら分かることだと思うので、驚きは少なかった。

個人的に気になる点は、学習データもモデルのアーキテクチャもパラメータ数も分からないGPT3.5, GPT4のみで実験をして「パラメータサイズが大きい方がロバスト」と結論づけている点と、もう少し深掘りして考察したらもっとおもしろいのにな、と感じる点です。

実務上は有益な知見だとして、では研究として見たときに「なぜそうなるのか?」というところを追求して欲しいなぁ、という感想を持ちました。
たとえば、「パラメータサイズが大きいモデルの方がフォーマットにロバスト」と論文中に書かれているように見えますが、
それは本当にパラメータサイズによるものなのか？学習データに含まれる各フォーマットの割合とか（これは事実はOpenAIの中の人しか分からないので、学習データの情報がある程度オープンになっているOpenLLMでも検証するとか）、評価するタスクとフォーマットの相性とか、色々と考察できる要素があるのではないかと思いました。
その上で、大部分のLLMで普遍的な知見を見出した方が研究としてより面白くなるのではないか、と感じました。

[AkihikoWatanabe]

参考: Data2Textにおける数値データのinput formatによる性能差を分析し考察している研究

• [Paper Note] Prompting for Numerical Sequences: A Case Study on Market Comment Generation, Masayuki Kawarada+, arXiv'24, 2024.04 #1267