[Paper Note] Large Language Models Cannot Self-Correct Reasoning Yet, Jie Huang+, ICLR'24, 2023.10

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2310.01798

Authors

• Jie Huang
• Xinyun Chen
• Swaroop Mishra
• Huaixiu Steven Zheng
• Adams Wei Yu
• Xinying Song
• Denny Zhou

Abstract

• Large Language Models (LLMs) have emerged as a groundbreaking technology with their unparalleled text generation capabilities across various applications. Nevertheless, concerns persist regarding the accuracy and appropriateness of their generated content. A contemporary methodology, self-correction, has been proposed as a remedy to these issues. Building upon this premise, this paper critically examines the role and efficacy of self-correction within LLMs, shedding light on its true potential and limitations. Central to our investigation is the notion of intrinsic self-correction, whereby an LLM attempts to correct its initial responses based solely on its inherent capabilities, without the crutch of external feedback. In the context of reasoning, our research indicates that LLMs struggle to self-correct their responses without external feedback, and at times, their performance even degrades after self-correction. Drawing from these insights, we offer suggestions for future research and practical applications in this field.

Translation (by gpt-4o-mini)

• 大規模言語モデル（LLM）は、さまざまなアプリケーションにおける比類のないテキスト生成能力を持つ画期的な技術として登場しました。しかし、生成されたコンテンツの正確性や適切性に関する懸念は依然として存在します。この問題に対する解決策として、自己修正という現代的な方法論が提案されています。本論文では、この前提に基づき、LLMにおける自己修正の役割と有効性を批判的に検討し、その真の可能性と限界について明らかにします。私たちの調査の中心には、内的自己修正の概念があります。これは、LLMが外部のフィードバックなしにその固有の能力だけに基づいて初期の応答を修正しようとする試みです。推論の文脈において、私たちの研究は、LLMが外部のフィードバックなしに応答を自己修正するのに苦労し、時には自己修正後にパフォーマンスが低下することさえ明らかにしています。この知見を踏まえ、今後の研究や実用的な応用に向けた提言を行います。

Summary (by gpt-4o-mini)

• LLMは高いテキスト生成能力を持つ一方で、生成内容の正確性に懸念がある。自己修正というアプローチが提案されているが、本研究ではLLMの内的自己修正の役割と限界を検討。特に、外部フィードバックなしで応答を修正する際に苦労し、修正後にパフォーマンスが低下することを示している。今後の研究への提言も行う。

[AkihikoWatanabe]

openreview: https://openreview.net/forum?id=IkmD3fKBPQ