longitudinal feedback adaptation

Question

repository-native controlled corpus で一回の feedback 改善を確認した後、NGR が探索経験を蓄積して適応することを次にどのように検証するか。

Current resolution

次の検証は、新規かつ既存評価と identity-disjoint な repository-native controlled corpus v3 に対する longitudinal feedback-adaptation evaluation とする。固定 control と credited-path-only treatment を同じ query schedule で比較し、feedback 回数 0、1、3、10 における headroom relation MRR の推移を development / conditional holdout で観測する。

この評価が扱う主張は「一回の局所的順位改善」ではなく、feedback を使うにつれて retrieval path が適応するかである。control / ceiling の非劣化、credited edge 以外の不変性、result-free freeze と observed-state preservation を同じ gate に含める。外部 corpus への一般化、Agent end-to-end の token / tool call 削減、production default の変更は含まない。

Edges

• depends on repository-native-controlled-corpus
• depends on ceiling-aware-feedback-adaptation-gate
• refines none
• supersedes none
• conflicts with none
• informs none

Background

#51 の fresh repository-native feedback evaluation は、新規の result-free protocol で development と holdout を各一回実行し、headroom relation MRR の改善と control / ceiling の非劣化を保存した。これは成功 feedback の一回の効果を支持するが、Static Retrieval から Adaptive Retrieval への主張に必要な反復利用の軌跡はまだ測定していない。

Constraints

• v3 corpus は corpus-only phase で先に固定し、過去の evaluation fixture、gold、schedule、observed result と node、doc path、source URL、credited edge identity を共有しない。
• evaluation protocol は result-free commit 後に固定し、registered development を一回だけ実行する。development gate 通過時のみ holdout を一回開く。
• result 観測後は evaluator、fixture、gold、schedule、manifest、gate、docs を変更しない。失敗は保存して停止する。
• source integrity は raw SHA-256 を優先し、whole-file LF/CRLF exact conversion だけを許容する。
• この controlled benchmark の結果を external generalization や Agent の効率改善として表現しない。

Conclusion

NGR の次の実証対象は、repository-native v3 controlled corpus 上の反復 feedback に対する longitudinal retrieval trajectory とする。これにより、既存の one-shot improvement を経験蓄積による adaptive retrieval の検証へ進める。

Related

• Issue #51 - fresh one-shot repository-native evaluation。
• PR #52 - #51 のfreeze とobserved result。
• Repository-native controlled corpus - source corpus の境界。
• Ceiling-aware feedback adaptation gate - improvement / non-regression gate。