outcome driven feedback deactivation

Outcome-driven feedback deactivation

Question

soft-startで加算したrelation feedbackを、古い成功履歴や誤帰属を残し続けず、疎に利用される正しい関係を時間経過だけで失わない形でどのように不活性化するか。

Current resolution

最初の不活性化は、時間や未利用ではなく、保存済みtraceとcredited pathへ因果帰属できるnegative delayed outcomeによって駆動する可逆なpolicyとする。固定local snapshot上のdevelopment / holdoutで8 hard gateをすべて通過したため、library defaultは変更せず、local serving policyへ可逆に採用できるcandidateとして扱う。

• corrected は、誤りへ明示的に帰属されたsoft-startまたはconfirmation contributionだけを正確に取り消す。
• rolled_back は、参照された過去のreinforcement contributionを正確に取り消す。
• superseded はrelationと証拠を削除せずdormantとして通常activationを抑制し、後から再活性化できる状態を保つ。
• negative outcomeを固定量の罰へ変換せず、ledgerに保存したcredited edgeのactual deltaと、その同じcontributionが発生させたsame-source sibling normalization deltaの全体を一つのreversal単位とする。
• candidateはdefault-offを維持する。固定local snapshot上のdevelopment / holdoutは各一度の観測で8/8 hard gateを通過したため、local serving policyへの可逆cutoverは許可するが、library defaultまたは一般化の根拠にはしない。
• result-free freezeとobservationは別Issue / PRに分け、squash merge後もregistered output不在のfreeze境界をmain履歴から検証できるようにする。

Edges

• depends on soft-start-feedback-reinforcement
• depends on frozen-output-round-trip-integrity

Background

soft-start policyによって、relationは最初の実利用から小さく活性化し、confirmed outcomeによって残りを確定し、後続confirmationを減衰加算できるようになった。一方、corrected、rolled_back、superseded はaudit記録に留まり、加算済みweightを変更しない。活性化だけを持つ系では、後から根拠が崩れた成功履歴や置き換え済み関係が残り続ける。

単純な時間減衰や未利用回数は、利用頻度が疎なlocal NGRでは「重要だが滅多に使わない関係」と「不要になった関係」を区別できない。そこで第一段階は、因果帰属と可逆性を持つexact reversalに限定する。

result-free mechanicsをmainへ固定した後、登録済みprivate snapshot上でdevelopmentとconditional holdoutを各一度だけ実行した。両stageでexact reversal、dormancy / reactivation、baseline floor、idempotency / atomicity、locality / controls、privacy / exclusive outputの8 hard gateがすべてpassし、source database、snapshot、live configは前後不変だった。

Constraints

• lexical、zero-hop、別source、uncredited edge、因果帰属できないtask failureを変更しない。
• duplicate outcome、retry、idempotency replay、SQLite restartで二重減算しない。
• reversalは対応するactual contributionを上限とし、基礎weight以下へのpunitive updateを行わない。
• credited側だけ、またはsibling側だけを単独で戻さず、同じcontributionのsigned mutation全体を原子的に逆適用する。
• source document、node、edge、trace、outcome、frozen artifactを削除または遡及変更しない。
• time decay、non-use decay、競争敗北による受動減衰は、実運用データを得た後の別判断に残す。
• corrected、rolled_back、supersededの意味と状態遷移を分離し、一つの曖昧なnegative eventへ統合しない。
• freeze Issueではdevelopment / holdoutを実行せず、merge後のsuccessor observation Issueで各splitを一度だけ実行する。

Conclusion

不活性化の第一段階は、加算済み成功を一般的な罰で相殺するのではなく、根拠が崩れたactual contributionだけを可逆に取り消し、superseded relationを削除せずdormant化する。固定local snapshot上の検証はこのpolicyの可逆なlocal adoptionを支持する。時間・未利用・競争に基づく自然減衰、library default変更、外部一般化はこの判断へ含めない。

Related

• Issue #111 - reversible outcome-driven feedback deactivationの実装と評価。
• PR #112 - mechanicsとresult-free freeze。
• Issue #113 / PR #114 - development / conditional holdoutの一回限り観測。
• PR #103 - soft-start feedback reinforcement mechanics。
• PR #109 - baseline-aware soft-start development / holdout support。