ceiling aware feedback adaptation gate

Ceiling-aware feedback adaptation gate

Question

新規 feedback-adaptation experiment で、baseline relation MRR が理論上限の 1.0 に達して strict improvement を示せない場合、採否をどのように判定するか。

Current resolution

新規 experiment の primary relation gate は baseline relation MRR により分岐する。

• baseline relation MRR が 1.0 未満なら、treatment は strict improvement を示さなければならない。
• baseline relation MRR が 1.0 なら、treatment は non-regression を示さなければならない。
• どちらの場合も、endpoint/type projected path、direct lexical / directional-negative controls、credited-only mutation、deterministic replay、contamination、immutable output を含む全 safety gate を通過しなければならない。

ceiling case の non-regression pass は、追加の順位改善を示せないが劣化せず全 safety gate を満たしたことを記録する。これは generalization、default変更、production採用を意味しない。

Edges

• depends on none
• refines none
• supersedes none
• conflicts with none
• informs none

Background

#31 の独立 holdout では control と treatment の relation MRR がともに 1.0 で、全 safety gate を通過した。一方、従来の strict-improvement-only gate では ceiling のため追加改善が不可能であった。この判断は、将来の新規 experiment の採否規則を ceiling-aware にするものであり、#31 の観測済み結論を遡及的に pass または adopted へ変更しない。

Constraints

• この規則は結果観測前に固定する新規 experiment にだけ適用する。baseline relation MRR が 1.0 未満のときに strict improvement を non-regression へ緩和しない。
• #31 と #29 の fixture、gold、manifest、gate、result、実験文書を変更、再実行、再集計しない。
• existing default、API、router、production behavior を変更しない。
• ceiling pass は frozen minimal corpus と固定protocolの範囲に限り、一般 corpus やproduction qualityへの主張に拡張しない。

Conclusion

新規 feedback-adaptation experiment は baseline relation MRR が 1.0 未満なら strict improvement、1.0 なら全 safety gate を伴う non-regression を採用条件とする。ceiling case を pass と記録しても、default変更、generalization、production採用の根拠にはしない。

Related

• Issue #35 - ceiling-aware gate の承認済み policy scope。
• Issue #31 - independent reproduction と ceiling observation の根拠。
• Issue #29 - prior feedback-adaptation experiment の不変境界。
• Requirements - 新規 experiment に適用する requirement。
• Decision Structure index - entry format、ownership、lifecycle。