The Impact of Reasoning Step Length on Large Language Models, Mingyu Jin+, N/A, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2401.04925

Affiliations

• Mingyu Jin, N/A
• Qinkai Yu, N/A
• Dong shu, N/A
• Haiyan Zhao, N/A
• Wenyue Hua, N/A
• Yanda Meng, N/A
• Yongfeng Zhang, N/A
• Mengnan Du, N/A

Abstract

• Chain of Thought (CoT) is significant in improving the reasoning abilities oflarge language models (LLMs). However, the correlation between theeffectiveness of CoT and the length of reasoning steps in prompts remainslargely unknown. To shed light on this, we have conducted several empiricalexperiments to explore the relations. Specifically, we design experiments thatexpand and compress the rationale reasoning steps within CoT demonstrations,while keeping all other factors constant. We have the following key findings.First, the results indicate that lengthening the reasoning steps in prompts,even without adding new information into the prompt, considerably enhancesLLMs' reasoning abilities across multiple datasets. Alternatively, shorteningthe reasoning steps, even while preserving the key information, significantlydiminishes the reasoning abilities of models. This finding highlights theimportance of the number of steps in CoT prompts and provides practicalguidance to make better use of LLMs' potential in complex problem-solvingscenarios. Second, we also investigated the relationship between theperformance of CoT and the rationales used in demonstrations. Surprisingly, theresult shows that even incorrect rationales can yield favorable outcomes ifthey maintain the requisite length of inference. Third, we observed that theadvantages of increasing reasoning steps are task-dependent: simpler tasksrequire fewer steps, whereas complex tasks gain significantly from longerinference sequences.

Translation (by gpt-3.5-turbo)

• Chain of Thought（CoT）は、大規模言語モデル（LLMs）の推論能力を向上させる上で重要です。ただし、CoTの効果とプロンプトの推論ステップの長さとの相関関係はほとんどわかっていません。この点について明らかにするために、関連するいくつかの実験を行いました。具体的には、CoTのデモンストレーション内の推論ステップを拡張または圧縮する実験を設計し、他の要素を一定に保ちました。以下に主な結果を示します。まず、結果は、プロンプトの推論ステップを延長することで、プロンプトに新しい情報を追加しなくても、複数のデータセットでLLMsの推論能力が大幅に向上することを示しています。逆に、キーとなる情報を保持しながら推論ステップを短縮すると、モデルの推論能力が著しく低下します。この結果は、CoTのプロンプトのステップ数の重要性を強調し、複雑な問題解決シナリオでLLMsの潜在能力をより良く活用するための実践的なガイダンスを提供します。第二に、CoTのパフォーマンスとデモンストレーションで使用される根拠との関係についても調査しました。驚くべきことに、結果は、誤った根拠でも、推論の必要な長さを保つ限り、好ましい結果をもたらすことが示されました。第三に、推論ステップを増やす利点は、タスクに依存することが観察されました。より単純なタスクでは、より少ないステップが必要ですが、複雑なタスクでは長い推論シーケンスから大きな利益を得ます。

Summary (by gpt-3.5-turbo)

• Chain of Thought（CoT）の推論ステップの長さとLLMsの推論能力の関係を調査した。推論ステップを延長すると、プロンプトに新しい情報を追加せずにLLMsの推論能力が向上することがわかった。逆に、キーとなる情報を保持しながら推論ステップを短縮すると、推論能力が低下する。また、誤った根拠でも推論の必要な長さを保つ限り、好ましい結果が得られることも示された。さらに、タスクによって推論ステップの増加の利点が異なることも観察された。