soft start feedback reinforcement

Soft-start feedback reinforcement

Question

relation source が初めて実利用された時点から永続 weight を変える場合、単発利用への過剰反応を避けながら confirmed outcome へどのように接続するか。

Current resolution

永続的な relation feedback は、最初の新規 used で小さく開始し、後続の confirmed で一回分の通常強化を完成させ、その後の独立 confirmation を減衰加算する soft-start policy を target とする。

• retrieved、selected、validated は weight を変更しない。
• relation trace 上の新規 used は、通常の bounded reinforcement の一部だけを credited path へ即時適用する。
• 最初の独立 confirmed は、soft-start 分を差し引いた残りを適用し、used と合わせて一回分の通常強化とする。
• 二回目以降の独立 confirmed は、固定した decay ratio に従って減衰加算する。
• same-source sibling normalization は used では発火させず、confirmation で実際に増加した credited delta だけを局所配分する。
• exact multiplier、decay、mutation locality、rank trajectory は、既存 database の snapshot clone を用いた新規 result-free comparison で固定・検証してから local serving process を切り替える。

Edges

• supersedes confirmed-outcome-feedback-reinforcement
• depends on real-task-shadow-feedback-validation
• depends on frozen-output-round-trip-integrity

Background

used-evidence quorum 3 は、単一利用で順位が反転する過敏性を抑える一方、同じ credited edge の利用が疎な環境では正しい初回利用からも長期間学習できない。confirmed-only policy は outcome の意味で信号を選別できるが、客観的 outcome が到着するまで serving weight を完全に静止させる。

現在の低頻度な local NGR 運用では、hard quorum の 0 / 0 / 1 型更新より、初回利用を弱い provisional signal として反映し、confirmation で残りを確定する連続的な更新を採る。初回 used を通常量のまま即時強化すると exposure bias と自己強化を戻すため、soft-start 分は一回分の通常強化の内数とする。

Constraints

• soft-start は保存済み relation trace の一意な credited path にだけ適用し、lexical、zero-hop、別 source、uncredited edge を変更しない。
• duplicate trace、同一 source-use stage、idempotency replay は soft-start を再適用しない。
• 最初の used と最初の confirmed の multiplier 合計は一回分の通常 bounded update を超えない。
• corrected、rolled_back、superseded は、原因帰属と反転規則を別判断に残し、自動 negative reinforcement へ接続しない。
• #76 / #77、#85 / #86、real-task shadow v1 / v2 / v3 の protocol、packet、snapshot、observed artifact は変更、再実行、再集計、遡及流用しない。
• mechanics と comparison は default-off successor candidate として追加し、comparison 通過前に library / MCP CLI default または既存 local database の weight を変更しない。

Conclusion

hard quorum と confirmed-only の二択をやめ、初回 used を小さな provisional update、最初の confirmed を残量確定、後続 confirmation を減衰加算として扱う。既存の frozen evidence は保持し、fresh snapshot clone comparison を通過した successor だけを local serving policy に採用する。

Related

• Issue #74 / PR #75 - used-evidence quorum candidate。
• Issue #81 / PR #82 - confirmed-triggered diminishing candidate。
• Issue #85 / PR #86 - used+q3 と confirmed+diminishing の controlled comparison。
• Issue #89 - frozen real-task shadow v3 observation stream。