[Paper Note] Useful Memories Become Faulty When Continuously Updated by LLMs, Dylan Zhang+, arXiv'26, 2026.05

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2605.12978

Authors

• Dylan Zhang
• Yanshan Lin
• Zhengkun Wu
• Yihang Sun
• Bingxuan Li
• Dianqi Li
• Hao Peng

Abstract

• Learning from past experience benefits from two complementary forms of memory: episodic traces -- raw trajectories of what happened -- and consolidated abstractions distilled across many episodes into reusable, schema-like lessons. Recent agentic-memory systems pursue the consolidated form: an LLM rewrites past trajectories into a textual memory bank that it continuously updates with new interactions, promising self-improving agents without parameter updates. Yet we find that such consolidated memories produced by today's LLMs are often faulty even when derived from useful experiences. As consolidation proceeds, memory utility first rises, then degrades, and can fall below the no-memory baseline. More surprisingly, even when consolidating from ground-truth solutions, GPT-5.4 fails on 54% of a set of ARC-AGI problems it had previously solved without memory. We trace the regression to the consolidation step rather than the underlying experience: the same trajectories yield qualitatively different memories under different update schedules, and an episodic-only control that simply retains those trajectories remains competitive with the consolidators we test. In a controlled ARC-AGI Stream environment that exposes Retain, Delete, and Consolidate actions, agents preserve raw episodes by default and double the accuracy of their forced-consolidation counterparts; disabling consolidation entirely (episodic management only) matches this auto regime. Practically, robust agent memory should treat raw episodes as first-class evidence and gate consolidation explicitly rather than firing it after every interaction. Looking forward, reliable agentic memory will require LLMs that can consolidate without overwriting the evidence they depend on.

Translation (by gpt-5-nano)

• 過去の経験から学ぶことは、出来事の生データであるエピソディック・トレースと、多くのエピソードを横断して抽出され、再利用可能なスキーマのような教訓へと蒸留された統合的抽象の二つの補完的な記憶形態の恩恵を受けます。最近のエージェント記憶システムは統合された形を追求します。すなわち、LLMは過去の軌跡をテキストの記憶バンクに書き換え、それを新しい相互作用で継続的に更新することで、パラメータ更新なしに自己改善するエージェントを約束します。しかし、今日のLLMによって生成されるこのような統合記憶は、有用な経験から導かれた場合でも往々にして誤っていることを私たちは発見しました。統合が進むにつれて、記憶の有用性は最初は上昇するものの、次第に劣化し、無記憶基準を下回ることさえあります。さらに驚くべきことに、真の解から統合しても、GPT-5.4は以前記憶なしで解けていたARC-AGI問題のセットのうち54%で失敗します。我々は回帰の原因を基礎となる経験ではなく統合ステップに遡らせます。すなわち、同じ軌跡が異なる更新スケジュールの下で質的に異なる記憶を生み出し、単にそれらの軌跡を保持するエピソードのみの制御は、我々が検証する統合者と競合します。保持・削除・統合のアクションを公開した制御済みARC-AGIストリーム環境では、エージェントはデフォルトで生のエピソードを保持し、強制的な統合を行う相手より正確さを2倍にします。統合を完全に無効化すること（エピソード管理のみ）は、この自動体制と一致します。実務的には、頑健なエージェント記憶は生のエピソードを第一級の証拠として扱い、統合を明示的にゲートするべきであり、各相互作用の後に統合を実行するのではありません。今後は、信頼性の高いエージェント記憶には、依存する証拠を上書きせずに統合できるLLMsが必要となるでしょう。

Summary (by gpt-4o-mini)

• 過去の経験から学ぶエージェント記憶は、生データと再利用可能な教訓という二つの記憶形態を統合する。しかし、現在のLLMによる統合記憶は、効果的に役立つ経験から生成されても誤りを含むことが多い。記憶の有用性は統合が進むにつれて劣化し、特定の問題では失敗が見られる。異なる更新スケジュールは質的に異なる記憶を生み出し、エピソードの保持のみでは統合の効果を競合する。制御された環境下でエージェントが生のエピソードを保持することが精度を向上させることが示され、統合は明示的に管理するべきである。今後は、安全に統合できるLLMの開発が求められる。

[AkihikoWatanabe]

元ポスト:https://x.com/kazunori_279/status/2057643718530994297?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q