学習率を再度変更しました

[yssaya]

学習率を learning rate = 0.02, mini_batch = 4096 (mini_batch = 128, iter_size = 32) から learning rate = 0.0002, mini_batch = 128 (mini_batch = 128, iter_size = 1) に変更しました。w787から新しい学習率となります。

これはiter_sizeを使った場合、個々のmini_batchにおけるBatch Normalizationの 平均と分散を計算する個数が128となり、mini_batch=4096, iter_size = 1 とは一致しないためです。

新しい学習率は過去の棋譜を使った学習でのレートの上昇で比較すると learning rate = 0.001, mini_batch = 64 (mini_batch = 64, iter_size = 1) を10分の1にしたものに近く、今までの learning rate = 0.02, mini_batch = 4096 (mini_batch = 128, iter_size = 32) は learning rate = 0.0005, mini_batch = 128 (mini_batch = 128, iter_size = 1) に近いです。 今の状態はさらに学習率を0.4(0.0002/0.0005)倍したものに近いかもしれません。

2520000棋譜から2948000棋譜まで。43万棋譜を学習。初期weightは w600。vs Krist 100k

勝率          ELO  学習率     補足
0.469(0.035)( -21) lr=0.001,  mb= 64  比較基準(w650)
----------------------------------------------------------------------
0.682(0.032)(+132) lr=0.0002, mb=128  今回のデータ
0.616(0.034)( +81) lr=0.0005, mb=128  今回のデータ

0.615(0.034)( +81) lr=0.02,   mb=4096,(mb=64, is=64)
0.618(0.034)( +83) lr=0.02,   mb=4096,(mb=128,is=32)

0.713(0.031)(+158) lr=0.0001, mb=  64
0.600(0.034)( +70) lr=0.001,  mb= 180  "cross_entroy_scale"がmb64のまま
0.692(0.032)(+140) lr=0.00001,mb=  64,(lr=0.0001,mb=64 を再度学習)
0.632(0.033)( +93) lr=0.00001,mb=  64
0.613(0.034)( +79) lr=0.02,   mb=4096,(mb=64, is=64)
0.581(0.034)( +56) lr=0.0005, mb=  64
0.473(0.035)( -18) lr=0.001,  mb=  64
0.354(0.033)(-104) lr=0.1,    mb=4096,(mb=64, is=64)
0.546(0.034)( +32) lr=0.05,   mb=4096,(mb=64, is=64)