[Paper Note] LLMs Get Lost In Multi-Turn Conversation, Philippe Laban+, ICLR'26 Outstanding Paper, 2025.05

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2505.06120

Authors

• Philippe Laban
• Hiroaki Hayashi
• Yingbo Zhou
• Jennifer Neville

Abstract

• Large Language Models (LLMs) are conversational interfaces. As such, LLMs have the potential to assist their users not only when they can fully specify the task at hand, but also to help them define, explore, and refine what they need through multi-turn conversational exchange. Although analysis of LLM conversation logs has confirmed that underspecification occurs frequently in user instructions, LLM evaluation has predominantly focused on the single-turn, fully-specified instruction setting. In this work, we perform large-scale simulation experiments to compare LLM performance in single- and multi-turn settings. Our experiments confirm that all the top open- and closed-weight LLMs we test exhibit significantly lower performance in multi-turn conversations than single-turn, with an average drop of 39% across six generation tasks. Analysis of 200,000+ simulated conversations decomposes the performance degradation into two components: a minor loss in aptitude and a significant increase in unreliability. We find that LLMs often make assumptions in early turns and prematurely attempt to generate final solutions, on which they overly rely. In simpler terms, we discover that when LLMs take a wrong turn in a conversation, they get lost and do not recover.

Translation (by gpt-4o-mini)

• 大規模言語モデル（LLMs）は会話型インターフェースです。このため、LLMsはユーザーが現在のタスクを完全に特定できる場合だけでなく、マルチターンの会話を通じて必要なものを定義、探求、洗練するのを助ける可能性があります。LLMの会話ログの分析により、ユーザーの指示において過小指定が頻繁に発生することが確認されていますが、LLMの評価は主に単一ターンの完全に指定された指示設定に焦点を当ててきました。本研究では、単一ターンとマルチターンの設定におけるLLMのパフォーマンスを比較するために、大規模なシミュレーション実験を行います。実験の結果、テストしたすべてのトップオープンおよびクローズドウェイトのLLMが、単一ターンに比べてマルチターンの会話で著しく低いパフォーマンスを示し、6つの生成タスクで平均39%のパフォーマンス低下が見られました。20万以上のシミュレーションされた会話の分析により、パフォーマンスの低下は2つの要素に分解されます：わずかな能力の損失と、信頼性の大幅な増加です。LLMsはしばしば初期のターンで仮定を行い、早期に最終的な解決策を生成しようとし、それに過度に依存することがわかりました。簡単に言えば、LLMsが会話の中で誤った方向に進むと、迷子になり回復できなくなることが明らかになりました。

Summary (by gpt-4o-mini)

• LLMsは会話型インターフェースとして、ユーザーがタスクを定義するのを支援するが、マルチターンの会話ではパフォーマンスが低下する。シミュレーション実験の結果、マルチターンで39%のパフォーマンス低下が見られ、初期のターンでの仮定に依存しすぎることが原因と判明。LLMsは会話中に誤った方向に進むと、回復が難しくなることが示された。

[AkihikoWatanabe]

元ポスト:https://x.com/_stakaya/status/1926009283386155009?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q

[AkihikoWatanabe]

Lost in the MiddleならぬLost in Conversation。multi-turnで分割して指示を出すよりも、single-turnにすべてのinstructionを実施させた方が性能劣化が生じづらい。

[AkihikoWatanabe]

関連:

• [Paper Note] Lost in the Middle: How Language Models Use Long Contexts, Nelson F. Liu+, arXiv'23, 2023.07 #793