[Paper Note] Demystifying LLM-based Software Engineering Agents, Chunqiu Steven Xia+, FSE'25, 2024.07

[AkihikoWatanabe]

URL

• preprint: https://arxiv.org/abs/2407.01489
• acm dl: https://dl.acm.org/doi/10.1145/3715754

Authors

• Chunqiu Steven Xia
• Yinlin Deng
• Soren Dunn
• Lingming Zhang

Abstract

• Recent advancements in large language models (LLMs) have significantly advanced the automation of software development tasks, including code synthesis, program repair, and test generation. More recently, researchers and industry practitioners have developed various autonomous LLM agents to perform end-to-end software development tasks. These agents are equipped with the ability to use tools, run commands, observe feedback from the environment, and plan for future actions. However, the complexity of these agent-based approaches, together with the limited abilities of current LLMs, raises the following question: Do we really have to employ complex autonomous software agents? To attempt to answer this question, we build Agentless -- an agentless approach to automatically solve software development problems. Compared to the verbose and complex setup of agent-based approaches, Agentless employs a simplistic three-phase process of localization, repair, and patch validation, without letting the LLM decide future actions or operate with complex tools. Our results on the popular SWE-bench Lite benchmark show that surprisingly the simplistic Agentless is able to achieve both the highest performance (32.00%, 96 correct fixes) and low cost ($0.70) compared with all existing open-source software agents! Furthermore, we manually classified the problems in SWE-bench Lite and found problems with exact ground truth patch or insufficient/misleading issue descriptions. As such, we construct SWE-bench Lite-S by excluding such problematic issues to perform more rigorous evaluation and comparison. Our work highlights the current overlooked potential of a simple, interpretable technique in autonomous software development. We hope Agentless will help reset the baseline, starting point, and horizon for autonomous software agents, and inspire future work along this crucial direction.

Translation (by gpt-4o-mini)

• 最近の大規模言語モデル（LLMs）の進展により、コード合成、プログラム修正、テスト生成などのソフトウェア開発タスクの自動化が大幅に進展しました。最近では、研究者や業界の実務者がエンドツーエンドのソフトウェア開発タスクを実行するためのさまざまな自律型LLMエージェントを開発しています。これらのエージェントは、ツールを使用し、コマンドを実行し、環境からのフィードバックを観察し、将来の行動を計画する能力を備えています。しかし、これらのエージェントベースのアプローチの複雑さと、現在のLLMの限られた能力は、次の疑問を提起します：本当に複雑な自律型ソフトウェアエージェントを使用する必要があるのでしょうか？この疑問に答えるために、私たちはAgentlessを構築しました。これは、ソフトウェア開発の問題を自動的に解決するためのエージェントレスアプローチです。エージェントベースのアプローチの冗長で複雑なセットアップと比較して、Agentlessは、LLMに将来の行動を決定させたり、複雑なツールを操作させたりすることなく、ローカリゼーション、修正、パッチ検証のシンプルな三段階プロセスを採用しています。人気のSWE-bench Liteベンチマークでの結果は驚くべきもので、シンプルなAgentlessが既存のオープンソースソフトウェアエージェントと比較して、最高のパフォーマンス（32.00%、96件の正しい修正）と低コスト（$0.70）を達成できることを示しています！さらに、私たちはSWE-bench Liteの問題を手動で分類し、正確なグラウンドトゥルースパッチや不十分または誤解を招く問題の説明を持つ問題を見つけました。そのため、より厳密な評価と比較を行うために、問題のある課題を除外したSWE-bench Lite-Sを構築しました。私たちの研究は、自律型ソフトウェア開発におけるシンプルで解釈可能な技術の現在の見落とされた可能性を強調しています。Agentlessが自律型ソフトウェアエージェントのベースライン、出発点、視野をリセットし、この重要な方向性に沿った将来の研究を刺激することを期待しています。

Summary (by gpt-4o-mini)

• 最近のLLMの進展により、ソフトウェア開発タスクの自動化が進んでいるが、複雑なエージェントアプローチの必要性に疑問が生じている。これに対し、Agentlessというエージェントレスアプローチを提案し、シンプルな三段階プロセスで問題を解決。SWE-bench Liteベンチマークで最高のパフォーマンスと低コストを達成。研究は自律型ソフトウェア開発におけるシンプルで解釈可能な技術の可能性を示し、今後の研究の方向性を刺激することを目指している。

[AkihikoWatanabe]

日本語解説:https://note.com/ainest/n/nac1c795e3825

[AkihikoWatanabe]

LLMによる計画の立案、環境からのフィードバックによる意思決定などの複雑なワークフローではなく、Localization（階層的に問題のある箇所を同定する）とRepair（LLMで複数のパッチ候補を生成する）、PatchValidation(再現テストと回帰テストの両方を通じて結果が良かったパッチを選ぶ）のシンプルなプロセスを通じてIssueを解決する。

これにより、低コストで高い性能を達成している、といった内容な模様。

[AkihikoWatanabe]

Agentlessと呼ばれ手法だが、preprint版にあったタイトルの接頭辞だった同呼称がproceeding版では無くなっている。