observation lifecycle test exception

Observation lifecycle test exception

Question

#31 の feedback-adaptation reproduction result が観測済みになった後、frozen experiment と observed result を変えずに変更できる lifecycle test はどれか。

Current resolution

pre-observation で result output が不在であることを確かめる lifecycle test だけを、observed-state integrity assertion へ置換できる。置換後の assertion はすべて次を確認する。

• observed artifact hash が frozen value と一致する。
• output creation は exclusive であり、existing output path を拒否する。
• test は observed result を recompute、rerun、aggregate しない。

これは #31 に対する人間承認済みの例外である。ほかの observation-lifecycle change は許可しない。

Edges

• depends on none
• refines none
• supersedes none
• conflicts with none
• informs none

Background

元の lifecycle test は、単一の承認済み観測より前には result file の不在を確認するために有効だった。frozen artifact が生成された観測後は、その条件は真でない。#31 の人間承認済み例外は experiment を保全したまま、test が現在存在する state を検証できるようにする。

Constraints

次のものは不変とする。

• result artifact とその value
• fixture
• gold
• manifest
• gate
• stage order

この例外は result の rerun、recomputation、aggregation、move、deletion、overwrite、content change を許可しない。experiment protocol、implementation behavior、fixture selection、gold expectation、manifest、gate、stage order の変更も許可しない。

Conclusion

#31 では、lifecycle test の pre-observation absence assertion だけを、すでに observed state に対する hash、exclusive-write、no-recompute assertion へ置換する。すべての frozen artifact と評価規則は不変に保つ。

Related

• Issue #31 - observed-state test exception の人間承認済み scope。
• Decision Structure index - entry format、edge vocabulary、所有境界、lifecycle。