Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

学習率を再度変更しました #20

Open
yssaya opened this issue Nov 7, 2019 · 0 comments

Comments

@yssaya
Copy link
Collaborator

@yssaya yssaya commented Nov 7, 2019

学習率を
learning rate = 0.02, mini_batch = 4096 (mini_batch = 128, iter_size = 32)
から
learning rate = 0.0002, mini_batch = 128 (mini_batch = 128, iter_size = 1)
に変更しました。w787から新しい学習率となります。

これはiter_sizeを使った場合、個々のmini_batchにおけるBatch Normalizationの
平均と分散を計算する個数が128となり、mini_batch=4096, iter_size = 1 とは一致しないためです。

新しい学習率は過去の棋譜を使った学習でのレートの上昇で比較すると
learning rate = 0.001, mini_batch = 64 (mini_batch = 64, iter_size = 1)
を10分の1にしたものに近く、今までの
learning rate = 0.02, mini_batch = 4096 (mini_batch = 128, iter_size = 32)

learning rate = 0.0005, mini_batch = 128 (mini_batch = 128, iter_size = 1)
に近いです。
今の状態はさらに学習率を0.4(0.0002/0.0005)倍したものに近いかもしれません。

2520000棋譜から2948000棋譜まで。43万棋譜を学習。初期weightは w600。vs Krist 100k

勝率          ELO  学習率     補足
0.469(0.035)( -21) lr=0.001,  mb= 64  比較基準(w650)
----------------------------------------------------------------------
0.682(0.032)(+132) lr=0.0002, mb=128  今回のデータ
0.616(0.034)( +81) lr=0.0005, mb=128  今回のデータ

0.615(0.034)( +81) lr=0.02,   mb=4096,(mb=64, is=64)
0.618(0.034)( +83) lr=0.02,   mb=4096,(mb=128,is=32)

0.713(0.031)(+158) lr=0.0001, mb=  64
0.600(0.034)( +70) lr=0.001,  mb= 180  "cross_entroy_scale"がmb64のまま
0.692(0.032)(+140) lr=0.00001,mb=  64,(lr=0.0001,mb=64 を再度学習)
0.632(0.033)( +93) lr=0.00001,mb=  64
0.613(0.034)( +79) lr=0.02,   mb=4096,(mb=64, is=64)
0.581(0.034)( +56) lr=0.0005, mb=  64
0.473(0.035)( -18) lr=0.001,  mb=  64
0.354(0.033)(-104) lr=0.1,    mb=4096,(mb=64, is=64)
0.546(0.034)( +32) lr=0.05,   mb=4096,(mb=64, is=64)
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
1 participant
You can’t perform that action at this time.