soft start feedback reinforcement

Soft-start feedback reinforcement

Question

relation source が初めて実利用された時点から永続 weight を変える場合、単発利用への過剰反応を避けながら confirmed outcome へどのように接続するか。

Current resolution

永続的な relation feedback は、最初の新規 used で小さく開始し、後続の confirmed で一回分の通常強化を完成させ、その後の独立 confirmation を減衰加算する soft-start policy を target とする。

• retrieved、selected、validated は weight を変更しない。
• relation trace 上の新規 used は、通常の bounded reinforcement の一部だけを credited path へ即時適用する。
• 最初の独立 confirmed は、soft-start 分を差し引いた残りを適用し、used と合わせて一回分の通常強化とする。
• 二回目以降の独立 confirmed は、固定した decay ratio に従って減衰加算する。
• same-source sibling normalization は used では発火させず、confirmation で実際に増加した credited delta だけを局所配分する。
• exact multiplier、decay、mutation locality、rank trajectory は、既存 database の snapshot clone を用いた新規 result-free comparison で固定・検証してから local serving process を切り替える。
• snapshot comparison v1 は development で 7 hard gate 中 6 gate を通過したが、snapshot の credited edge が初期 evidence count 1 を持つのに q3/s1 の最初の発火を fresh used_3 と固定したため policy-boundaries が不合格になった。soft-start schedule、learning latency / final quality、negative provisional bound、control safety、mutation locality / source isolation は通過したが、v1 は local cutover を支持しない。
• 次の比較は v1 observed result を変更・再利用せず、fresh snapshot の登録初期 evidence state から q3/s1 の残り quorum と最初の mutation checkpoint を導出する baseline-aware successor とする。

Edges

• supersedes confirmed-outcome-feedback-reinforcement
• depends on real-task-shadow-feedback-validation
• depends on frozen-output-round-trip-integrity

Background

used-evidence quorum 3 は、単一利用で順位が反転する過敏性を抑える一方、同じ credited edge の利用が疎な環境では正しい初回利用からも長期間学習できない。confirmed-only policy は outcome の意味で信号を選別できるが、客観的 outcome が到着するまで serving weight を完全に静止させる。

現在の低頻度な local NGR 運用では、hard quorum の 0 / 0 / 1 型更新より、初回利用を弱い provisional signal として反映し、confirmation で残りを確定する連続的な更新を採る。初回 used を通常量のまま即時強化すると exposure bias と自己強化を戻すため、soft-start 分は一回分の通常強化の内数とする。

Constraints

• soft-start は保存済み relation trace の一意な credited path にだけ適用し、lexical、zero-hop、別 source、uncredited edge を変更しない。
• duplicate trace、同一 source-use stage、idempotency replay は soft-start を再適用しない。
• 最初の used と最初の confirmed の multiplier 合計は一回分の通常 bounded update を超えない。
• corrected、rolled_back、superseded は、原因帰属と反転規則を別判断に残し、自動 negative reinforcement へ接続しない。
• #76 / #77、#85 / #86、real-task shadow v1 / v2 / v3 の protocol、packet、snapshot、observed artifact は変更、再実行、再集計、遡及流用しない。
• mechanics と comparison は default-off successor candidate として追加し、comparison 通過前に library / MCP CLI default または既存 local database の weight を変更しない。
• persisted snapshot を比較する gate は、各 credited edge の初期 evidence count と activation state を登録し、q3/s1 を空状態から始まると仮定しない。
• snapshot comparison v1 の protocol、gate、development observed result、6/7 pass、holdout 未実行を凍結 evidence として保持し、successor の入力・結果として遡及流用しない。

Conclusion

hard quorum と confirmed-only の二択をやめ、初回 used を小さな provisional update、最初の confirmed を残量確定、後続 confirmation を減衰加算として扱う target は維持する。ただし snapshot comparison v1 は既存 evidence state を gate に織り込めず local cutover を支持しなかった。v1 を保存したうえで、baseline-aware な fresh successor comparison を通過した場合だけ local serving policy に採用する。

Related

• Issue #74 / PR #75 - used-evidence quorum candidate。
• Issue #81 / PR #82 - confirmed-triggered diminishing candidate。
• Issue #85 / PR #86 - used+q3 と confirmed+diminishing の controlled comparison。
• Issue #89 - frozen real-task shadow v3 observation stream。
• Issue #104 / PR #105 - snapshot comparison v1 の result-free freeze、6/7 development gate、不支持停止。