[Paper Note] Endless Terminals: Scaling RL Environments for Terminal Agents, Kanishk Gandhi+, arXiv'26, 2026.01

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2601.16443

Authors

• Kanishk Gandhi
• Shivam Garg
• Noah D. Goodman
• Dimitris Papailiopoulos

Abstract

• Environments are the bottleneck for self-improving agents. Current terminal benchmarks were built for evaluation, not training; reinforcement learning requires a scalable pipeline, not just a dataset. We introduce Endless Terminals, a fully autonomous pipeline that procedurally generates terminal-use tasks without human annotation. The pipeline has four stages: generating diverse task descriptions, building and validating containerized environments, producing completion tests, and filtering for solvability. From this pipeline we obtain 3255 tasks spanning file operations, log management, data processing, scripting, and database operations. We train agents using vanilla PPO with binary episode level rewards and a minimal interaction loop: no retrieval, multi-agent coordination, or specialized tools. Despite this simplicity, models trained on Endless Terminals show substantial gains: on our held-out dev set, Llama-3.2-3B improves from 4.0% to 18.2%, Qwen2.5-7B from 10.7% to 53.3%, and Qwen3-8B-openthinker-sft from 42.6% to 59.0%. These improvements transfer to human-curated benchmarks: models trained on Endless Terminals show substantial gains on held out human curated benchmarks: on TerminalBench 2.0, Llama-3.2-3B improves from 0.0% to 2.2%, Qwen2.5-7B from 2.2% to 3.4%, and Qwen3-8B-openthinker-sft from 1.1% to 6.7%, in each case outperforming alternative approaches including models with more complex agentic scaffolds. These results demonstrate that simple RL succeeds when environments scale.

Translation (by gpt-4o-mini)

• 環境は自己改善エージェントのボトルネックです。現在の端末ベンチマークは評価のために構築されており、訓練には適していません。強化学習にはスケーラブルなパイプラインが必要であり、単なるデータセットでは不十分です。本研究では、無人アノテーションで端末利用タスクを逐次生成する完全自律型パイプライン「Endless Terminals」を導入します。このパイプラインは、多様なタスク記述の生成、コンテナ化された環境の構築と検証、完了テストの生成、可解性のフィルタリングという4つのステージで構成されています。このパイプラインからは、ファイル操作、ログ管理、データ処理、スクリプティング、データベース操作を含む3255のタスクが得られます。エージェントは、バイナリエピソードレベルの報酬と最小限のインタラクションループを用いた通常のPPOで訓練されます。リトリーバルやマルチエージェントの調整、専門のツールは使用しません。このシンプルさにもかかわらず、Endless Terminalsで訓練されたモデルは大幅な改善を示します。ホールドアウトされた開発セットでは、Llama-3.2-3Bは4.0%から18.2%へ、Qwen2.5-7Bは10.7%から53.3%へ、Qwen3-8B-openthinker-sftは42.6%から59.0%へと向上します。これらの改善は、人間がキュレーションしたベンチマークにも移転します。Endless Terminalsで訓練されたモデルは、ホールドアウトされた人間キュレーションのベンチマークにおいても大幅な改善を示し、TerminalBench 2.0では、Llama-3.2-3Bが0.0%から2.2%に、Qwen2.5-7Bが2.2%から3.4%に、Qwen3-8B-openthinker-sftが1.1%から6.7%に改善し、各ケースでより複雑なエージェントの構造を持つモデルを上回ります。これらの結果は、環境がスケールする場合にシンプルな強化学習が成功することを示しています。

Summary (by gpt-4o-mini)

• 自己改善エージェントのボトルネックである環境を改善するため、無人アノテーションで端末利用タスクを生成する「Endless Terminals」パイプラインを提案。タスク記述の生成から可解性のフィルタリングまでの4ステージを経て、3255のタスクを作成。PPOを用いて訓練したモデルは、ホールドアウト開発セットで大幅な性能向上を示し、Llama-3.2-3Bは4.0%から18.2%、Qwen2.5-7Bは10.7%から53.3%に改善。人間キュレーションのベンチマークでも改善し、シンプルな強化学習がスケールする環境で成功することを示す。

[AkihikoWatanabe]

元ポスト:https://x.com/rosinality/status/2015695107677438447?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q

taskが解けるものか否かをverifyする追加のモデルが必要な点は注意とのこと。

（論文中ではo3が用いられている）

[AkihikoWatanabe]

著者ポスト:https://x.com/gandhikanishk/status/2015884636195574040?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q

[AkihikoWatanabe]

RLにおけるターミナル上で実行可能な多様なタスクと、実際に動作可能なコンテナ、テストの生成をスケールさせることで標準的なPPOで性能が向上し、人間が収集した既存ベンチマーク（Terminal Bench 2.0)にも汎化することを示した研究。つまり、RLのタスクと環境をスケールさせれば標準的なRLアルゴリズムでも性能が向上するというメッセージがある。