[Paper Note] On the Impact of AGENTS.md Files on the Efficiency of AI Coding Agents, Jai Lal Lulla+, arXiv'26, 2026.01

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2601.20404

Authors

• Jai Lal Lulla
• Seyedmoein Mohsenimofidi
• Matthias Galster
• Jie M. Zhang
• Sebastian Baltes
• Christoph Treude

Abstract

• AI coding agents such as Codex and Claude Code are increasingly used to autonomously contribute to software repositories. However, little is known about how repository-level configuration artifacts affect operational efficiency of the agents. In this paper, we study the impact of AGENTS$.$md files on the runtime and token consumption of AI coding agents operating on GitHub pull requests. We analyze 10 repositories and 124 pull requests, executing agents under two conditions: with and without an AGENTS$.$md file. We measure wall-clock execution time and token usage during agent execution. Our results show that the presence of AGENTS$.$md is associated with a lower median runtime ($Δ28.64$%) and reduced output token consumption ($Δ16.58$%), while maintaining a comparable task completion behavior. Based on these results, we discuss immediate implications for the configuration and deployment of AI coding agents in practice, and outline a broader research agenda on the role of repository-level instructions in shaping the behavior, efficiency, and integration of AI coding agents in software development workflows.

Translation (by gpt-5-nano)

• Codex や Claude Code などの AI コーディング・エージェントは、ソフトウェア・リポジトリへ自律的に貢献するためにますます利用されています。しかし、リポジトリレベルの設定アーティファクトがエージェントの運用効率にどのように影響するかは十分には分かっていません。本論文では、GitHub のプルリクエスト上で動作する AI コーディング・エージェントの実行時間とトークン消費量に対する AGENTS.md ファイルの影響を調査します。10 個のリポジトリと 124 個のプルリクエストを分析し、エージェントを以下の 2 条件で実行しました：AGENTS.md ファイルの有無。エージェント実行中のウォールクロック時間とトークン使用量を測定します。結果は、AGENTS.md の存在が中央値の実行時間を低下させる（Δ28.64%）、出力トークン消費を削減する（Δ16.58%）一方で、タスク完了挙動は比較的同等であることに関連していることが示されました。これらの結果に基づき、実務における AI コーディング・エージェントの設定とデプロイに関する即時の含意を論じ、ソフトウェア開発ワークフローにおける AI コーディング・エージェントの挙動、効率、統合を形づくるリポジトリレベルの指示の役割に関するより広範な研究課題を概説します。

Summary (by gpt-4o-mini)

• AIコーディング・エージェント（CodexやClaude Codeなど）がソフトウェア・リポジトリに与える影響を調査。AGENTS.mdファイルの有無で、GitHubプルリクエストにおけるエージェントの実行時間とトークン消費が異なることを示し、AGENTS.mdの存在が実行時間を28.64%、トークン消費を16.58%削減する一方、タスク完了挙動は同等であることが分かった。これに基づき、AIコーディング・エージェントの設定やデプロイに関する実務的な含意を議論し、リポジトリレベルの指示の重要性を明らかにする。

[AkihikoWatanabe]

関連:

• [Paper Note] Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?, Thibaud Gloaguen+, arXiv'26, 2026.02 #4710

こちらの研究ではどちらかというとAGENTS.mdによってinference costが増大するようなことが示されているが、具体的にAGENTS.mdの内容としてどのような違いがあるだろうか？

[AkihikoWatanabe]

元ポスト:https://x.com/cwolferesearch/status/2028735252332765304?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q