Think Before You Act: Decision Transformers with Internal Working Memory, Jikun Kang+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs//2305.16338

Affiliations

• Jikun Kang, N/A
• Romain Laroche, N/A
• Xindi Yuan, N/A
• Adam Trischler, N/A
• Xue Liu, N/A
• Jie Fu, N/A

Abstract

• Large language model (LLM)-based decision-making agents have shown theability to generalize across multiple tasks. However, their performance relieson massive data and compute. We argue that this inefficiency stems from theforgetting phenomenon, in which a model memorizes its behaviors in parametersthroughout training. As a result, training on a new task may deteriorate themodel's performance on previous tasks. In contrast to LLMs' implicit memorymechanism, the human brain utilizes distributed memory storage, which helpsmanage and organize multiple skills efficiently, mitigating the forgettingphenomenon. Thus inspired, we propose an internal working memory module tostore, blend, and retrieve information for different downstream tasks.Evaluation results show that the proposed method improves training efficiencyand generalization in both Atari games and meta-world object manipulationtasks. Moreover, we demonstrate that memory fine-tuning further enhances theadaptability of the proposed architecture.

Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLM）に基づく意思決定エージェントは、複数のタスクにわたって汎用性を示すことができる。しかし、その性能は膨大なデータと計算に依存している。我々は、この非効率性は、モデルがトレーニング中にパラメータに振る舞いを記憶する「忘却現象」に起因すると主張する。その結果、新しいタスクのトレーニングは、以前のタスクのモデルのパフォーマンスを低下させる可能性がある。LLMの暗黙のメモリメカニズムとは対照的に、人間の脳は分散型のメモリストレージを利用しており、複数のスキルを効率的に管理・組織化することで、忘却現象を軽減している。そこで、我々は、異なる下流タスクのために情報を格納、ブレンド、および取り出す内部作業メモリモジュールを提案する。評価結果は、提案手法がAtariゲームとメタワールドオブジェクト操作タスクの両方でトレーニング効率と汎化性を向上させることを示している。さらに、メモリの微調整が提案アーキテクチャの適応性をさらに高めることを示している。

Summary (by gpt-3.5-turbo)

• 大規模言語モデル（LLM）の性能は、トレーニング中にパラメータに振る舞いを記憶する「忘却現象」によって低下する可能性がある。人間の脳は分散型のメモリストレージを利用しており、忘却現象を軽減している。そこで、我々は、内部作業メモリモジュールを提案し、Atariゲームとメタワールドオブジェクト操作タスクの両方でトレーニング効率と汎化性を向上させることを示した。