Skip to content

Releases

v1.3 - Alle 32 Level geloest (Spiel durchgespielt)

Choose a tag to compare

@Spla4sH Spla4sH released this 01 Aug 07:41

Super Mario Bros. ist komplett durchgespielt — alle 32 Level gelöst.

Dieses Release enthält die Modelle der letzten beiden Welten. Jedes Level erfüllt das
vorab definierte Erfolgskriterium: 20 von 20 greedy-Episoden bis zur Flagge.

Datei Level Weite Wie gelöst
mario_ppo_7-1.zip 7-1 x 2985 Standard-Rezept + Resume
mario_ppo_7-2.zip 7-2 x 3449 6M Steps am Stück
mario_ppo_7-3.zip 7-3 x 3449 6M Steps am Stück
mario_ppo_7-4_maze.zip 7-4 x 3283 4-stufiges Go-Explore + Behavior Cloning (762 Schritte)
mario_ppo_8-1_r2.zip 8-1 x 6009 9M Steps – das längste Level des Spiels
mario_ppo_8-2_bc.zip 8-2 x 3449 Go-Explore (4.603 Kandidaten) + BC in 13 Epochen
mario_ppo_8-3_bc.zip 8-3 x 3417 Go-Explore (1.431 Kandidaten) + BC in 6 Epochen
mario_ppo_8-4_bowser.zip 8-4 x 4805, Axt 6-stufiges Go-Explore + BC (685 Schritte)

⚠️ Wichtig für 8-4: achte Aktion nötig

mario_ppo_8-4_bowser.zip hat 8 Aktionen statt 7 – der Weg in 8-4 führt durch Röhren,
und ohne ↓ kommt man dort nicht hinein. Das Modell passt deshalb nur zu einer Umgebung mit
demselben Aktionsraum:

ACTION_SET=down python play_ppo.py --model checkpoints_ppo/mario_ppo_8-4_bowser.zip --world 8 --stage 4

Ohne die Umgebungsvariable passt die Policy-Ausgabe nicht zum Env. Alle übrigen Modelle
laufen unverändert mit den 7 Standard-Aktionen.

Verwendung

.zip-Dateien nach checkpoints_ppo/ legen, dann:

.venv-ppo/Scripts/python play_ppo.py --model checkpoints_ppo/<datei> --world <w> --stage <s>
.venv-ppo/Scripts/python eval_ppo.py --model checkpoints_ppo/<datei> --world <w> --stage <s> --episodes 20

Determinismus

Die Umgebung ist bei greedy-Spiel deterministisch – „20/20" heißt also zuverlässig
reproduzierbar
, nicht robust gegen Störungen. Die Level, die per Go-Explore gelöst
wurden, liegen zusätzlich als Aktionssequenz im Repo (maze_seq_7-4.npz,
axt_seq_8-4.npz) und lassen sich damit Schritt für Schritt nachvollziehen.

Frühere Releases: v1.0 (Welt 1–4),
v1.1 (Welt 5), v1.2 (Welt 6).

v1.2 - Welt 1-6 komplett (24/24 Level)

Choose a tag to compare

@Spla4sH Spla4sH released this 29 Jul 08:47

Welt 1–6 komplett: alle 24 Level gelöst 🏁

Ergänzt v1.1 um die
vier Modelle der Welt 6. Jedes Modell erreicht in der Greedy-Evaluation
20/20 Episoden die Flagge.

Neu in diesem Release

Datei Level Weg zur Lösung
mario_ppo_6-1.zip 6-1 Standard-Rezept, 3M Steps, erster Anlauf
mario_ppo_6-2.zip 6-2 3M Steps + Resume (6M gesamt)
mario_ppo_6-3.zip 6-3 (Baumwipfel) 6M Steps am Stück
mario_ppo_6-4.zip 6-4 (Schloss) Standard-Rezept, 3M Steps, erster Anlauf

Welt 6 brauchte kein Spezialwerkzeug – die über sechs Welten gereifte Pipeline
(PPO + VecNormalize + LR-Decay, 16 parallele Envs, Greedy-Eval als Kriterium) löst ein
neues Level inzwischen weitgehend im Standardverfahren.

Nebenbefund: Vor dem 6-3-Training wurde geprüft, ob sich das 5-3-Modell übertragen lässt
(dort hatte Transfer Learning den Durchbruch gebracht) – es kam nur bis x 406. 6-3 ist
kein Zwilling von 1-3/5-3
, nur derselbe Leveltyp. Transfer wirkt bei baugleichen
Leveln, nicht bei bloß ähnlicher Optik.

Installation

mario_best.pt → checkpoints/, alle .zip → checkpoints_ppo/, dann:

python play_ppo.py --model checkpoints_ppo/mario_ppo_6-1.zip --world 6 --stage 1

Hinweis Determinismus: „20/20 gelöst" gilt pro Maschine – auf anderer Hardware kann
die greedy-Trajektorie durch Float-Rundung minimal abweichen. Details im
README.

v1.1 - Welt 1-5 komplett (20/20 Level)

Choose a tag to compare

@Spla4sH Spla4sH released this 28 Jul 13:06

Welt 1–5 komplett: alle 20 Level gelöst 🏁

Ergänzt v1.0 um die
vier Modelle der Welt 5. Jedes Modell erreicht in der Greedy-Evaluation
20/20 Episoden die Flagge.

Neu in diesem Release

Datei Level Weg zur Lösung
mario_ppo_5-1.zip 5-1 Standard-Rezept, 6M Steps (3M + Resume)
mario_ppo_5-2.zip 5-2 dasselbe: 6M Steps
mario_ppo_5-3.zip 5-3 Transfer Learning vom baugleichen Level 1-3 + Feintuning
mario_ppo_5-4.zip 5-4 (Schloss) Standard-Rezept, 3M Steps, erster Anlauf

Die Geschichte hinter 5-3

Der Agent fror bei x 783 ein – exakt der Stelle, an der schon Level 1-3 scheiterte
(Nintendo hat beide Baumwipfel-Level aus demselben Layout-Baustein gebaut). Vier Ansätze
scheiterten: 6M Steps Training, ein Entropie-Boost (der 1-3 geheilt hatte),
32.000 Go-Explore-Kandidaten und 168 systematisch geskriptete Sprungvarianten.

Gelöst hat es das 1-3-Modell selbst: einfach 5-3 spielen lassen → auf Anhieb x 1606
statt 783. Mit Feintuning ab diesem Modell fiel das Level. Transfer schlägt Suche, wenn
die Struktur bekannt ist.

Installation

mario_best.pt → checkpoints/, alle .zip → checkpoints_ppo/, dann:

python play_ppo.py --model checkpoints_ppo/mario_ppo_5-3.zip --world 5 --stage 3

Hinweis Determinismus: „20/20 gelöst" gilt pro Maschine – auf anderer Hardware kann
die greedy-Trajektorie durch Float-Rundung minimal abweichen. Details im
README.

v1.0 - Welt 1-4 komplett (16/16 Level)

Choose a tag to compare

@Spla4sH Spla4sH released this 11 Jul 01:09

Welt 1–4 komplett: alle 16 Level gelöst 🏁

Die vortrainierten Modelle zum Projekt. Jedes Modell erreicht in der Greedy-Evaluation
20/20 Episoden die Flagge (deterministische Env – Hinweis unten).

Installation

  1. mario_best.pt → in den Ordner checkpoints/
  2. alle .zip → in den Ordner checkpoints_ppo/

Zuschauen

# Level 1-1 (Double DQN, im DQN-venv):
python play.py --episodes 3

# PPO-Level (im .venv-ppo), z. B. das 4-4-Labyrinth:
python play_ppo.py --model checkpoints_ppo/mario_ppo_4-4_maze.zip --world 4 --stage 4

Welche Datei gehört zu welchem Level?

Datei Level
mario_best.pt 1-1 (Double DQN, selbst implementiert)
mario_ppo_tuned.zip 1-2
mario_ppo_1-3_ent03.zip 1-3
mario_ppo_1-4.zip 1-4
mario_ppo_2-1_tower.zip 2-1 (Trampolin-Turm, Go-Explore + Behavior Cloning)
mario_ppo_2-2.zip … mario_ppo_2-4.zip 2-2 bis 2-4
mario_ppo_3-1.zip … mario_ppo_3-4.zip 3-1 bis 3-4
mario_ppo_4-1.zip … mario_ppo_4-3.zip 4-1 bis 4-3
mario_ppo_4-4_maze.zip 4-4 (Labyrinth, Go-Explore + Behavior Cloning)
mario_ppo_gen_welt1.zip Bonus: Welt-1-Generalist (ein Modell für 1-1…1-4, löst 1-1 + 1-4)

Hinweis Determinismus: „20/20 gelöst" gilt pro Maschine. Auf anderer Hardware kann die
greedy-Trajektorie durch Float-Rundung minimal divergieren (ein knapper argmax kippt) –
Details und die ganze Geschichte dazu im README.