Fragen zum Labor: Aufbau, Läufe, und wie die Zahlen zu lesen sind

[arn-c0de]

Der Faden für alles, was mit „wie …?" oder „warum …?" anfängt. Eigene Threads
sind genauso recht — dieser hier ist nur der Einstieg, damit die Kategorie nicht
leer dasteht.

Womit man anfängt

export DOTNET_ROOT="$PWD/.dotnet"; export PATH="$DOTNET_ROOT:$PATH"

./lab.sh                          # alle vier Laufarten messen, alle Berichte schreiben
dotnet run --project Nova.AiLab -c Release -- match --watch    # Partie im Terminal mitsehen

Danach sind reports/latest.md (der letzte Lauf vollständig) und
out/dashboard.html (dieselben Zahlen interaktiv) da. Die Markdown-Berichte
brauchen keinen Browser.

Zwei Dinge, an denen sich fast jeder stösst

Der Seed ändert die Partie nicht. Kein Simulationssystem zieht aus dem
Kernel-PRNG; der Seed geht in Zustands-Hash und Snapshot, sonst nirgendwohin.
Ein Sweep über 24 Seeds ist deshalb eine Beobachtung und nicht 24. Der Bericht
sagt das selbst hin, wenn alle Läufe gleich ausgehen — das ist leicht zu
überlesen und führt zu falschen Schlüssen.

Messen darf nichts kosten. Trace-Collector und Intent-Zählung sind reine
Beobachter; zwei Tests halten fest, dass ein Lauf mit und ohne sie dieselbe
Hash-Kette liefert. Wenn die je rot werden, sind alle damit erhobenen Zahlen
wertlos — nicht nur die neuen.

Fragen, die ich gern hätte

• Ist eine Kennzahl unverständlich oder irreführend benannt?
• Fehlt eine Kennzahl, die man bräuchte, um eine Änderung zu beurteilen?
• Läuft ./lab.sh bei dir nicht durch? Fehlermeldung her, das ist ein Bug im
  Werkzeug und keine Bedienungsfrage.
• Warum überhaupt Festkomma statt float, warum kein System.Random, warum
  ist die Tick-Reihenfolge ein Vertrag? — Determinismusfragen sind hier
  ausdrücklich willkommen, das ist der Kern der ganzen Übung.
• „Was misst dieses Ding eigentlich, das ein normales Playtest nicht misst?"
  Berechtigte Frage. Kurzform: die Wiederholbarkeit. Langform gern im Thread.

Ich antworte auch auf Fragen, deren Antwort ich nicht weiss — dann steht das
so da.