Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

学習率を0.00002に下げました #33

Open
yssaya opened this issue Jul 8, 2020 · 0 comments
Open

学習率を0.00002に下げました #33

yssaya opened this issue Jul 8, 2020 · 0 comments

Comments

@yssaya
Copy link
Collaborator

yssaya commented Jul 8, 2020

学習率を
0.0002 から
0.00002
に変更しました。

10980422棋譜、weightは w1450 から新しい学習率となります。
(w1449までが古い学習率での更新)

AlphaZeroは1000万棋譜で2回目の学習率変更なので、約100万棋譜遅い更新となります。

またGoogle Colabで開発版を使うことで13倍速く(Tesla T4)棋譜を生成できるようになりました。
http://www.yss-aya.com/aobazero/colab.html

Tesla K80    36.2 棋譜/時
Tesla T4    130.0 棋譜/時   (9.9棋譜/時)  (は以前の速度) 
Tesla P100  138.3 棋譜/時  (15.5棋譜/時)
Tesla P4     52.7 棋譜/時   (8.1棋譜/時)

ほどの速度が出ます。T4だと今までの13倍速くなってると思います。
これはaobazのプロセスを65個同時に起動して バッチサイズ28でネットワークの計算をするようにしたためです。
OpenCLの将棋盤向けの高速化や2080TiではHALFを使った高速化にも対応しています。
Windows版への対応はもうしばらくかかると思います。

    Core  Memory
Tesla K80  4992  24GB
Tesla T4   2560  16GB  Tensor 320
Tesla P4   2560   8GB
Tesla P100 3584  16GB
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant