single corpus real feedback validation

Single-corpus real feedback validation

Question

cross-corpus の実データ容量が不足している段階で、feedback-adaptation の実在データ検証をどの範囲で進めるか。

Current resolution

次の検証は、単一の実在 D1 source repository 内で development と holdout を identity により完全分離した因果検証として行う。実在 source URL と read-only D1 provenance を必須にし、構築 fixture の mechanism observation ではなく実データの経路フィードバックを評価する。

この検証の pass は単一 corpus に限定する。cross-corpus generalization、大規模性能、既定値変更、production 採用は主張しない。

Edges

• depends on ceiling-aware-feedback-adaptation-gate
• refines none
• supersedes none
• conflicts with none
• informs none

Background

#39 の read-only capacity audit は、production D1 に relation edge を持つ repository が少なく、既存 fixture identifier を除外すると development / holdout の各 split に3 repository を置く cross-corpus protocol を満たせないと確定した。一方、github-rag-mcp には単一 corpus 内で分離可能な 3-edge cluster 候補が2組あるため、主張を狭めれば実在データでの因果検証は可能である。

Constraints

• acquisition は production D1 の read-only query のみであり、no-write evidence、schema、coverage、実在 source URL を保存する。
• development と holdout は node、doc path、source URL、credited edge identity を分離し、prior experiment は identifier-only denylist に限定する。
• protocol を result-free で固定し、development を一回だけ実行し、gate 通過時だけ holdout を一回だけ実行する。観測後に protocol、fixture、gold、code、docs、result を変更または再実行しない。
• baseline が 1.0 未満なら strict improvement、1.0 なら全 safety gate を伴う non-regression を適用する。
• cluster、headroom、または provenance を固定できない場合は、結果を作らず停止する。

Conclusion

実在データに関する次の主張は、単一 corpus 内の分離された因果検証に限定して進める。cross-corpus 主張は、独立 repository を十分に含む D1 capacity が得られた後の別実験でのみ評価する。

Related

• Issue #40 - この決定を適用する single-corpus experiment。
• Issue #39 - cross-corpus capacity の failure report。
• Ceiling-aware feedback adaptation gate - baseline ceiling の採否規則。
• Decision Structure index - entry format、ownership、lifecycle。