Stage 4-4

[chottokun]

Stage

4-4

Status

• Create Notebook
• Clear

Challenge Notebook Link

https://github.com/Tiryoh/mario-ai-challenge/blob/dev/docker/workspace/mario_ai_challenge_4_4_try003.ipynb

Best Movie

Best Trained Model

4-4_try003_best_model_4150000.zip

Challenger

@chottokun
@Tiryoh

[chottokun]

経過

ai_mario.mp4

コメント

無謀だったか・・・。
info['life']での死亡判定ができてない気がする。死亡ペナを発生させるにはどうしらいいのか。

[chottokun]

経過

ai_mario.mp4

コメント

ここで諦めます！迷路を解くのは厳しすぎます（笑）

[Tiryoh]

せっかくなのでちょっとチャレンジしてみます 👀

[Tiryoh]

try001

ループにはまってしまいました 😿

https://github.com/Tiryoh/mario-ai-challenge/blob/dev/docker/workspace/mario_ai_challenge_4_4_try001.ipynb

[karaage0703]

#42 では、巻き戻ったらマイナスの報酬を渡したりしようとしているようです。

一番単純なのは、報酬を以下みたいに設計しちゃうやつですねー。

https://github.com/uvipen/Super-mario-bros-PPO-pytorch/blob/ab4248d715346c6adc33c2157455e2b98c130bcc/src/env.py#L74

[Tiryoh]

情報ありがとうございます。報酬の設計見直してみます。
このまま追加で学習するとどうなるのかが気になるので、もうちょっと追加で学習してみます。

[Tiryoh]

教えていただいた設計読んでみました。4-4と7-4（と8-4）は最後まで残ってたステージなんですね〜

uvipen/Super-mario-bros-PPO-pytorch@871b5a0

[Tiryoh]

try002

途中でWindows Updateに阻まれました…
try001から追加で学習させても全然よくなりませんでした。

https://github.com/Tiryoh/mario-ai-challenge/blob/dev/docker/workspace/mario_ai_challenge_4_4_try002.ipynb

次は

        if self.world == 4 and self.stage == 4:
            if (info["x_pos"] <= 1500 and info["y_pos"] < 127) or (
                    1588 <= info["x_pos"] < 2380 and info["y_pos"] >= 127):
                reward = -50
                done = True

にしてやってみます。

uvipen/Super-mario-bros-PPO-pytorch@871b5a0#diff-e2e5163f3f4707be4ff1c9979672ef0456e4af3a46fad9a34ec4eeee3ece164d

[Tiryoh]

try003

ゴールしました！
4-4に特化しすぎた報酬設計だと思うので他に方法がないか引き続きチャレンジしてみます。

4-4_try003_best_model_4150000.zip

https://github.com/Tiryoh/mario-ai-challenge/blob/dev/docker/workspace/mario_ai_challenge_4_4_try003.ipynb