repository native controlled corpus

Repository-native controlled corpus

Question

実 D1 corpus の容量が分離済み feedback-adaptation evaluation に足りないとき、次の検証用 corpus をどこでどのように固定するか。

Current resolution

次の evaluation は、NGR repository 自身に public source document として追加する repository-native controlled corpus を使用する。corpus は evaluation code、gold、feedback schedule、result より前の独立 commit で固定し、後続の別 issue がその commit だけから graph と split を導出する。評価可能な corpus は、development と holdout の各々に3 credited edge の directed path を持ち、node、doc path、source URL、edge identity を相互に共有しない。

この corpus は public で監査可能な controlled benchmark である。feedback の因果効果は検証できるが、外部 corpus への一般化、大規模性能、既定値変更、production 採用は主張しない。

Edges

• depends on ceiling-aware-feedback-adaptation-gate
• refines none
• supersedes single-corpus-real-feedback-validation
• conflicts with none
• informs none

Background

#40 の fresh D1 acquisition は read-only に成功したが、既存 fixture identifier を除外すると development と holdout を各3 credited edge 以上に分けるために Home が必要になり、#31 と重複した。新たな外部 repository を benchmark のためだけに作成しても controlled corpus である点は変わらないため、source corpus を NGR repository で公開・固定し、corpus 作成と評価を別 commit / 別 issue に分離する方針へ切り替えた。

#42 の v1 は二つの3-edge path を持つが、始点と終点を共有する。結果を観測する前に、この topology が development / holdout の identity-disjointness を満たさないと確認した。v1 は provenance を保ったまま残し、#44 が独立 path を持つ v2 を追加してから評価を開始する。

Constraints

• corpus 文書間の relation は本文の明示リンクまたは参照だけから抽出し、fixture専用の pseudo edge を置かない。
• corpus-only phase は検索、feedback、既定値、gold、query、runner、result を生成または変更しない。
• evaluation phase は corpus merge commit を source-of-truth とし、result-free protocol、development / holdout、contamination audit を新規に固定する。
• path 数だけでは split の独立性を満たさない。development / holdout は node、doc path、source URL、credited edge identity がすべて disjoint でなければならない。
• 評価結果は controlled benchmark の範囲に留め、external generalization を主張しない。

Conclusion

public な repository-native controlled corpus を NGR repository に先行追加し、identity-disjoint な v2 の merge commit を別 evaluation の唯一の source input とする。D1 single-corpus experiment は D1 capacity が増えるまで waiting のまま維持する。

Related

• Issue #42 - corpus-only phase。
• Issue #44 - identity-disjoint v2 corpus phase。
• Issue #40 - superseded source-selection route と D1 capacity evidence。
• Ceiling-aware feedback adaptation gate - baseline ceiling の採否規則。
• Decision Structure index - entry format、ownership、lifecycle。