[Paper Note] Meta-Harness: End-to-End Optimization of Model Harnesses, Yoonho Lee+, arXiv'26, 2026.03

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2603.28052

Authors

• Yoonho Lee
• Roshen Nair
• Qizheng Zhang
• Kangwook Lee
• Omar Khattab
• Chelsea Finn

Abstract

• The performance of large language model (LLM) systems depends not only on model weights, but also on their harness: the code that determines what information to store, retrieve, and present to the model. Yet harnesses are still designed largely by hand, and existing text optimizers are poorly matched to this setting because they compress feedback too aggressively. We introduce Meta-Harness, an outer-loop system that searches over harness code for LLM applications. It uses an agentic proposer that accesses the source code, scores, and execution traces of all prior candidates through a filesystem. On online text classification, Meta-Harness improves over a state-of-the-art context management system by 7.7 points while using 4x fewer context tokens. On retrieval-augmented math reasoning, a single discovered harness improves accuracy on 200 IMO-level problems by 4.7 points on average across five held-out models. On agentic coding, discovered harnesses surpass the best hand-engineered baselines on TerminalBench-2. Together, these results show that richer access to prior experience can enable automated harness engineering.

Translation (by gpt-5-nano)

• 大規模言語モデル（LLM）システムの性能は、モデルの重みだけでなく、情報を保存・取得・提示する情報を決定するコードであるハーネスにも依存する。とはいえ、ハーネスは依然として主に手作業で設計されており、既存のテキスト最適化手法はこの設定に適切には適合していない。なぜなら、それらはフィードバックを過度に圧縮するからである。我々はMeta-Harnessを導入する。これはLLMアプリケーションのハーネスコードを探索する外部ループシステムである。ソースコード、スコア、そして過去のすべての候補の実行トレースへファイルシステムを介してアクセスするエージェント的提案者を用いる。オンラインのテキスト分類では、Meta-Harnessは最先端のコンテキスト管理システムを7.7ポイント上回り、同時にコンテキストトークンを4分の1に抑える。リトリーバルを組み込んだ数学推論では、単一の発見されたハーネスが、5つの保持モデルにわたる200問のIMOレベル問題の正確度を平均4.7ポイント向上させる。エージェント的コーディングでは、発見されたハーネスはTerminalBench-2で最良の手作業設計ベースラインを上回る。これらを総合すると、過去の経験へのより豊かなアクセスが自動化されたハーネス設計を可能にすることを示している。

Summary (by gpt-4o-mini)

• 大規模言語モデル（LLM）の性能は、ハーネスと呼ばれる情報の保存・取得・提示を決定するコードに依存しているが、従来のハーネス設計は手作業が主で、最適化手法はフィードバックを圧縮してしまう。そこで、Meta-Harnessを提案。これはLLMアプリケーションのハーネスコードを探索する外部ループシステムで、エージェント的提案者を通じて過去の実行トレースを活用。Meta-Harnessは、オンラインテキスト分類で7.7ポイントの向上を示し、リトリーバルを用いた数学推論では200問の正確度を4.7ポイント改善。また、エージェント的コーディングでは手作業設計を超える成果を上げる。これにより、より豊かな過去の経験が自動化されたハーネス設計を実現可能であることが示された。

[AkihikoWatanabe]

元ポスト:https://x.com/yoonholeee/status/2038640635482456118?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q

[AkihikoWatanabe]

pj page:https://yoonholee.com/meta-harness/

[AkihikoWatanabe]

Darwin Godel Machineと非常にコンセプトが似ているという指摘がある

• [Paper Note] Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents, Jenny Zhang+, ICLR'26, 2025.05 #2012

[AkihikoWatanabe]

所見:https://x.com/taiwei_shi/status/2038835950835630530?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q

[AkihikoWatanabe]

解説:https://x.com/che_shr_cat/status/2040834174026686827?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q