Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters, Charlie Snell+, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2408.03314

Authors

• Charlie Snell
• Jaehoon Lee
• Kelvin Xu
• Aviral Kumar

Abstract

• Enabling LLMs to improve their outputs by using more test-time computation is a critical step towards building generally self-improving agents that can operate on open-ended natural language. In this paper, we study the scaling of inference-time computation in LLMs, with a focus on answering the question: if an LLM is allowed to use a fixed but non-trivial amount of inference-time compute, how much can it improve its performance on a challenging prompt? Answering this question has implications not only on the achievable performance of LLMs, but also on the future of LLM pretraining and how one should tradeoff inference-time and pre-training compute. Despite its importance, little research attempted to understand the scaling behaviors of various test-time inference methods. Moreover, current work largely provides negative results for a number of these strategies. In this work, we analyze two primary mechanisms to scale test-time computation: (1) searching against dense, process-based verifier reward models; and (2) updating the model's distribution over a response adaptively, given the prompt at test time. We find that in both cases, the effectiveness of different approaches to scaling test-time compute critically varies depending on the difficulty of the prompt. This observation motivates applying a "compute-optimal" scaling strategy, which acts to most effectively allocate test-time compute adaptively per prompt. Using this compute-optimal strategy, we can improve the efficiency of test-time compute scaling by more than 4x compared to a best-of-N baseline. Additionally, in a FLOPs-matched evaluation, we find that on problems where a smaller base model attains somewhat non-trivial success rates, test-time compute can be used to outperform a 14x larger model.

Translation (by gpt-4o-mini)

• LLM（大規模言語モデル）がテスト時の計算を利用して出力を改善することを可能にすることは、オープンエンドな自然言語で動作できる自己改善エージェントを構築するための重要なステップです。本論文では、LLMにおける推論時の計算のスケーリングを研究し、特に「LLMが固定されたが非自明な量の推論時計算を使用できる場合、挑戦的なプロンプトに対するパフォーマンスをどれだけ改善できるか？」という質問に焦点を当てています。この質問に答えることは、LLMの達成可能なパフォーマンスだけでなく、LLMの事前学習の未来や推論時計算と事前学習計算のトレードオフに関する示唆を持っています。その重要性にもかかわらず、さまざまなテスト時推論手法のスケーリング挙動を理解しようとする研究はほとんど行われていません。さらに、現在の研究はこれらの戦略のいくつかに対して主に否定的な結果を提供しています。本研究では、テスト時計算をスケールするための2つの主要なメカニズムを分析します：(1) 密なプロセスベースの検証者報酬モデルに対する探索、(2) テスト時にプロンプトを考慮して応答に対するモデルの分布を適応的に更新することです。両方のケースにおいて、テスト時計算のスケーリングに対するさまざまなアプローチの効果は、プロンプトの難易度によって重要に変化することがわかりました。この観察は、「計算最適」スケーリング戦略を適用する動機となり、プロンプトごとにテスト時計算を最も効果的に配分することを目指します。この計算最適戦略を使用することで、最良のNベースラインと比較してテスト時計算スケーリングの効率を4倍以上改善できます。さらに、FLOPsが一致する評価において、より小さなベースモデルがやや非自明な成功率を達成する問題において、テスト時計算を使用することで14倍大きなモデルを上回ることができることがわかりました。

Summary (by gpt-4o-mini)

• LLMの推論時の計算をスケーリングすることで、挑戦的なプロンプトに対するパフォーマンスを改善する方法を研究。特に、密なプロセスベースの検証者報酬モデルとプロンプトに応じた応答の適応的更新を分析。プロンプトの難易度によって効果が変化し、計算最適戦略を適用することで効率を4倍以上向上。さらに、テスト時計算を用いることで小さなモデルが大きなモデルを上回ることが示された。

[AkihikoWatanabe]

Figure1参照

[AkihikoWatanabe]

Perplexity（参考;Hallucinationに注意）