[Paper Note] Self-Harness: Harnesses That Improve Themselves, Hangfan Zhang+, arXiv'26, 2026.06

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2606.09498

Authors

• Hangfan Zhang
• Shao Zhang
• Kangcong Li
• Chen Zhang
• Yang Chen
• Yiqun Zhang
• Lei Bai
• Shuyue Hu

Abstract

• The performance of LLM-based agents is jointly shaped by their base models and the harnesses that mediate their interaction with the environment. Because different models exhibit distinct behaviors, effective harness design is inherently model-specific. Yet agent harnesses are still largely engineered by human experts, a paradigm that scales poorly as modern LLMs become increasingly diverse and rapidly evolving. In this paper, we introduce Self-Harness, a new paradigm in which an LLM-based agent improves its own operating harness, without relying on human engineers or stronger external agents. We operationalize Self-Harness as an iterative loop with three stages: Weakness Mining, which identifies model-specific failure patterns from execution traces; Harness Proposal, which generates diverse yet minimal harness modifications tied to these failures; and Proposal Validation, which accepts candidate edits only after regression testing. We instantiate Self-Harness on Terminal-Bench-2.0 using a minimal initial harness and three base models from diverse families: MiniMax M2.5, Qwen3.5-35B-A3B, and GLM-5. Across all three models, Self-Harness consistently improves performance, with held-out pass rates increasing from 40.5% to 61.9%, 23.8% to 38.1%, and 42.9% to 57.1%, respectively. Qualitative analyses further show that Self-Harness does not simply add generic instructions, but effectively turns model-specific weaknesses into concrete, executable harness changes. These results suggest a path toward LLM-based agents that are not merely shaped by their harnesses, but can also participate in reshaping them.

Translation (by gpt-5-nano)

• LLMベースのエージェントの性能は、その基盤モデルと環境との相互作用を仲介するハーネスによって共同で形作られる。異なるモデルは異なる挙動を示すため、効果的なハーネス設計は本質的にモデル固有である。しかし、エージェントのハーネスは依然として人間の専門家によって大部分が設計されており、このパラダイムは現代のLLMがますます多様化し急速に進化するにつれてスケールが難しくなる。本論文ではSelf-Harnessという新しいパラダイムを導入する。これは、LLMベースのエージェントが人間のエンジニアやより強力な外部エージェントに依存せずに自らの運用ハーネスを改善するものである。Self-Harnessを、実行トレースからモデル固有の故障パターンを識別するWeakness Mining、これらの故障に結びついた多様でありつつ最小限のハーネス変更を生成するHarness Proposal、そして回帰テストの後でのみ候補編集を受け入れるProposal Validationの三段階の反復ループとして運用する。Terminal-Bench-2.0上で最小限の初期ハーネスと異なる系統の3つのベースモデル（MiniMax M2.5、Qwen3.5-35B-A3B、GLM-5）を用いてSelf-Harnessを具体化した。3つのモデルすべてにおいてSelf-Harnessは一貫して性能を改善し、ホールドアウトデータに対するパス率はそれぞれ40.5%→61.9%、23.8%→38.1%、42.9%→57.1%と上昇した。定性的分析はさらに、Self-Harnessが単に汎用の指示を追加するだけではなく、モデル固有の弱点を具体的で実行可能なハーネス変更へと効果的に転換することを示している。これらの結果は、ハーネスによってのみ形作られるのではなく、ハーネス自体を再形成することにも参加できるLLMベースのエージェントへの道を示唆している。

Summary (by gpt-4o-mini)

• Self-Harnessパラダイムを導入し、LLMベースのエージェントが自らハーネスを改善できる方法を提案。Weakness Mining、Harness Proposal、Proposal Validationの三段階の反復プロセスを通じ、3つの異なるモデルで一貫して性能向上を示し、ホールドアウトデータに対するパス率を大幅改善。これにより、エージェントは自らの弱点を具体的なハーネス変更に変換可能になり、ハーネスの再形成に寄与する道が拓かれる。

[AkihikoWatanabe]

元ポスト:https://x.com/askalphaxiv/status/2064825899728380294?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q