soft start feedback reinforcement

Soft-start feedback reinforcement

Question

relation source が初めて実利用された時点から永続 weight を変える場合、単発利用への過剰反応を避けながら confirmed outcome へどのように接続するか。

Current resolution

永続的な relation feedback は、最初の新規 used で小さく開始し、後続の confirmed で一回分の通常強化を完成させ、その後の独立 confirmation を減衰加算する soft-start policy を target とする。

• retrieved、selected、validated は weight を変更しない。
• relation trace 上の新規 used は、通常の bounded reinforcement の一部だけを credited path へ即時適用する。
• 最初の独立 confirmed は、soft-start 分を差し引いた残りを適用し、used と合わせて一回分の通常強化とする。
• 二回目以降の独立 confirmed は、固定した decay ratio に従って減衰加算する。
• same-source sibling normalization は used では発火させず、confirmation で実際に増加した credited delta だけを局所配分する。
• local policy は、最初の used に通常量の 0.25、最初の confirmed に残りの 0.75、後続 confirmation に decay ratio 0.5 を適用する。same-source sibling normalization は 1.0 を維持する。
• snapshot comparison v1 は development で 7 hard gate 中 6 gate を通過したが、snapshot の credited edge が初期 evidence count 1 を持つのに q3/s1 の最初の発火を fresh used_3 と固定したため policy-boundaries が不合格になった。soft-start schedule、learning latency / final quality、negative provisional bound、control safety、mutation locality / source isolation は通過したが、v1 は local cutover を支持しない。
• baseline-aware successor v2 は v1 observed result を変更・再利用せず、fresh snapshot の登録初期 evidence state から q3/s1 の残り quorum と最初の mutation checkpoint を導出した。
• baseline-aware snapshot comparison v2 は、result-free freeze と observation を別 PR に分け、development と holdout を各一度だけ実行した。両方で protocol integrity、baseline-aware q3 boundary、confirmed-only boundary、soft-start schedule、learning latency / quality、negative provisional bound、control safety、mutation locality / source isolation の 8 hard gate をすべて通過し、raw decision は 支持 となった。
• この結果に基づき local NGR MCP config を soft-start policy へ切り替えた。既存 process には hot reload せず、次回 MCP process または Codex session restart から有効にする。

Edges

• supersedes confirmed-outcome-feedback-reinforcement
• depends on real-task-shadow-feedback-validation
• depends on frozen-output-round-trip-integrity

Background

used-evidence quorum 3 は、単一利用で順位が反転する過敏性を抑える一方、同じ credited edge の利用が疎な環境では正しい初回利用からも長期間学習できない。confirmed-only policy は outcome の意味で信号を選別できるが、客観的 outcome が到着するまで serving weight を完全に静止させる。

現在の低頻度な local NGR 運用では、hard quorum の 0 / 0 / 1 型更新より、初回利用を弱い provisional signal として反映し、confirmation で残りを確定する連続的な更新を採る。初回 used を通常量のまま即時強化すると exposure bias と自己強化を戻すため、soft-start 分は一回分の通常強化の内数とする。

Constraints

• soft-start は保存済み relation trace の一意な credited path にだけ適用し、lexical、zero-hop、別 source、uncredited edge を変更しない。
• duplicate trace、同一 source-use stage、idempotency replay は soft-start を再適用しない。
• 最初の used と最初の confirmed の multiplier 合計は一回分の通常 bounded update を超えない。
• corrected、rolled_back、superseded は、原因帰属と反転規則を別判断に残し、自動 negative reinforcement へ接続しない。
• #76 / #77、#85 / #86、real-task shadow v1 / v2 / v3 の protocol、packet、snapshot、observed artifact は変更、再実行、再集計、遡及流用しない。
• mechanics と comparison は default-off successor candidate として追加し、comparison 通過前に library / MCP CLI default または既存 local database の weight を変更しない。
• persisted snapshot を比較する gate は、各 credited edge の初期 evidence count と activation state を登録し、q3/s1 を空状態から始まると仮定しない。
• snapshot comparison v1 の protocol、gate、development observed result、6/7 pass、holdout 未実行を凍結 evidence として保持し、successor の入力・結果として遡及流用しない。

Conclusion

hard quorum と confirmed-only の二択をやめ、初回 used を小さな provisional update、最初の confirmed を残量確定、後続 confirmation を減衰加算として扱う。snapshot comparison v1 の不支持結果は既存 evidence state を gate に織り込めなかった証拠として保存する。baseline-aware な fresh successor comparison が development / holdout の両方で全 hard gate を通過したため、local serving policy は soft-start 0.25、confirmation decay 0.5 を採用した。

Related

• Issue #74 / PR #75 - used-evidence quorum candidate。
• Issue #81 / PR #82 - confirmed-triggered diminishing candidate。
• Issue #85 / PR #86 - used+q3 と confirmed+diminishing の controlled comparison。
• Issue #89 - frozen real-task shadow v3 observation stream。
• Issue #104 / PR #105 - snapshot comparison v1 の result-free freeze、6/7 development gate、不支持停止。
• Issue #106 / PR #107 - baseline-aware v2 の result-free freeze。
• Issue #108 / PR #109 - development / holdout 各一回の observation、両方 8/8 hard gate pass、支持。
• Issue #110 - 評価済み commit への local MCP cutover、rollback と source DB 不変証跡。