Repository navigation
Releases
v1.3 - Alle 32 Level geloest (Spiel durchgespielt)
Super Mario Bros. ist komplett durchgespielt — alle 32 Level gelöst.
Dieses Release enthält die Modelle der letzten beiden Welten. Jedes Level erfüllt das
vorab definierte Erfolgskriterium: 20 von 20 greedy-Episoden bis zur Flagge.
| Datei | Level | Weite | Wie gelöst |
|---|---|---|---|
mario_ppo_7-1.zip |
7-1 | x 2985 | Standard-Rezept + Resume |
mario_ppo_7-2.zip |
7-2 | x 3449 | 6M Steps am Stück |
mario_ppo_7-3.zip |
7-3 | x 3449 | 6M Steps am Stück |
mario_ppo_7-4_maze.zip |
7-4 | x 3283 | 4-stufiges Go-Explore + Behavior Cloning (762 Schritte) |
mario_ppo_8-1_r2.zip |
8-1 | x 6009 | 9M Steps – das längste Level des Spiels |
mario_ppo_8-2_bc.zip |
8-2 | x 3449 | Go-Explore (4.603 Kandidaten) + BC in 13 Epochen |
mario_ppo_8-3_bc.zip |
8-3 | x 3417 | Go-Explore (1.431 Kandidaten) + BC in 6 Epochen |
mario_ppo_8-4_bowser.zip |
8-4 | x 4805, Axt | 6-stufiges Go-Explore + BC (685 Schritte) |
⚠️ Wichtig für 8-4: achte Aktion nötig
mario_ppo_8-4_bowser.zip hat 8 Aktionen statt 7 – der Weg in 8-4 führt durch Röhren,
und ohne ↓ kommt man dort nicht hinein. Das Modell passt deshalb nur zu einer Umgebung mit
demselben Aktionsraum:
ACTION_SET=down python play_ppo.py --model checkpoints_ppo/mario_ppo_8-4_bowser.zip --world 8 --stage 4Ohne die Umgebungsvariable passt die Policy-Ausgabe nicht zum Env. Alle übrigen Modelle
laufen unverändert mit den 7 Standard-Aktionen.
Verwendung
.zip-Dateien nach checkpoints_ppo/ legen, dann:
.venv-ppo/Scripts/python play_ppo.py --model checkpoints_ppo/<datei> --world <w> --stage <s>
.venv-ppo/Scripts/python eval_ppo.py --model checkpoints_ppo/<datei> --world <w> --stage <s> --episodes 20Determinismus
Die Umgebung ist bei greedy-Spiel deterministisch – „20/20" heißt also zuverlässig
reproduzierbar, nicht robust gegen Störungen. Die Level, die per Go-Explore gelöst
wurden, liegen zusätzlich als Aktionssequenz im Repo (maze_seq_7-4.npz,
axt_seq_8-4.npz) und lassen sich damit Schritt für Schritt nachvollziehen.
Frühere Releases: v1.0 (Welt 1–4),
v1.1 (Welt 5), v1.2 (Welt 6).
v1.2 - Welt 1-6 komplett (24/24 Level)
Welt 1–6 komplett: alle 24 Level gelöst 🏁
Ergänzt v1.1 um die
vier Modelle der Welt 6. Jedes Modell erreicht in der Greedy-Evaluation
20/20 Episoden die Flagge.
Neu in diesem Release
| Datei | Level | Weg zur Lösung |
|---|---|---|
mario_ppo_6-1.zip |
6-1 | Standard-Rezept, 3M Steps, erster Anlauf |
mario_ppo_6-2.zip |
6-2 | 3M Steps + Resume (6M gesamt) |
mario_ppo_6-3.zip |
6-3 (Baumwipfel) | 6M Steps am Stück |
mario_ppo_6-4.zip |
6-4 (Schloss) | Standard-Rezept, 3M Steps, erster Anlauf |
Welt 6 brauchte kein Spezialwerkzeug – die über sechs Welten gereifte Pipeline
(PPO + VecNormalize + LR-Decay, 16 parallele Envs, Greedy-Eval als Kriterium) löst ein
neues Level inzwischen weitgehend im Standardverfahren.
Nebenbefund: Vor dem 6-3-Training wurde geprüft, ob sich das 5-3-Modell übertragen lässt
(dort hatte Transfer Learning den Durchbruch gebracht) – es kam nur bis x 406. 6-3 ist
kein Zwilling von 1-3/5-3, nur derselbe Leveltyp. Transfer wirkt bei baugleichen
Leveln, nicht bei bloß ähnlicher Optik.
Installation
mario_best.pt → checkpoints/, alle .zip → checkpoints_ppo/, dann:
python play_ppo.py --model checkpoints_ppo/mario_ppo_6-1.zip --world 6 --stage 1Hinweis Determinismus: „20/20 gelöst" gilt pro Maschine – auf anderer Hardware kann
die greedy-Trajektorie durch Float-Rundung minimal abweichen. Details im
README.
v1.1 - Welt 1-5 komplett (20/20 Level)
Welt 1–5 komplett: alle 20 Level gelöst 🏁
Ergänzt v1.0 um die
vier Modelle der Welt 5. Jedes Modell erreicht in der Greedy-Evaluation
20/20 Episoden die Flagge.
Neu in diesem Release
| Datei | Level | Weg zur Lösung |
|---|---|---|
mario_ppo_5-1.zip |
5-1 | Standard-Rezept, 6M Steps (3M + Resume) |
mario_ppo_5-2.zip |
5-2 | dasselbe: 6M Steps |
mario_ppo_5-3.zip |
5-3 | Transfer Learning vom baugleichen Level 1-3 + Feintuning |
mario_ppo_5-4.zip |
5-4 (Schloss) | Standard-Rezept, 3M Steps, erster Anlauf |
Die Geschichte hinter 5-3
Der Agent fror bei x 783 ein – exakt der Stelle, an der schon Level 1-3 scheiterte
(Nintendo hat beide Baumwipfel-Level aus demselben Layout-Baustein gebaut). Vier Ansätze
scheiterten: 6M Steps Training, ein Entropie-Boost (der 1-3 geheilt hatte),
32.000 Go-Explore-Kandidaten und 168 systematisch geskriptete Sprungvarianten.
Gelöst hat es das 1-3-Modell selbst: einfach 5-3 spielen lassen → auf Anhieb x 1606
statt 783. Mit Feintuning ab diesem Modell fiel das Level. Transfer schlägt Suche, wenn
die Struktur bekannt ist.
Installation
mario_best.pt → checkpoints/, alle .zip → checkpoints_ppo/, dann:
python play_ppo.py --model checkpoints_ppo/mario_ppo_5-3.zip --world 5 --stage 3Hinweis Determinismus: „20/20 gelöst" gilt pro Maschine – auf anderer Hardware kann
die greedy-Trajektorie durch Float-Rundung minimal abweichen. Details im
README.
v1.0 - Welt 1-4 komplett (16/16 Level)
Welt 1–4 komplett: alle 16 Level gelöst 🏁
Die vortrainierten Modelle zum Projekt. Jedes Modell erreicht in der Greedy-Evaluation
20/20 Episoden die Flagge (deterministische Env – Hinweis unten).
Installation
mario_best.pt→ in den Ordnercheckpoints/- alle
.zip→ in den Ordnercheckpoints_ppo/
Zuschauen
# Level 1-1 (Double DQN, im DQN-venv):
python play.py --episodes 3
# PPO-Level (im .venv-ppo), z. B. das 4-4-Labyrinth:
python play_ppo.py --model checkpoints_ppo/mario_ppo_4-4_maze.zip --world 4 --stage 4Welche Datei gehört zu welchem Level?
| Datei | Level |
|---|---|
mario_best.pt |
1-1 (Double DQN, selbst implementiert) |
mario_ppo_tuned.zip |
1-2 |
mario_ppo_1-3_ent03.zip |
1-3 |
mario_ppo_1-4.zip |
1-4 |
mario_ppo_2-1_tower.zip |
2-1 (Trampolin-Turm, Go-Explore + Behavior Cloning) |
mario_ppo_2-2.zip … mario_ppo_2-4.zip |
2-2 bis 2-4 |
mario_ppo_3-1.zip … mario_ppo_3-4.zip |
3-1 bis 3-4 |
mario_ppo_4-1.zip … mario_ppo_4-3.zip |
4-1 bis 4-3 |
mario_ppo_4-4_maze.zip |
4-4 (Labyrinth, Go-Explore + Behavior Cloning) |
mario_ppo_gen_welt1.zip |
Bonus: Welt-1-Generalist (ein Modell für 1-1…1-4, löst 1-1 + 1-4) |
Hinweis Determinismus: „20/20 gelöst" gilt pro Maschine. Auf anderer Hardware kann die
greedy-Trajektorie durch Float-Rundung minimal divergieren (ein knapper argmax kippt) –
Details und die ganze Geschichte dazu im README.