オンライン適応自然勾配法による囲碁の盤面評価の学習

摘要

囲碁は、黒石と白石の2種類の石のみを使うシンプルなルールをもつゲームであるが、19×19の広い盤面を用いるため先読みなどの探索が難しく、エキスパートの棋力に迫るコンピュータ囲碁エージェントが出現していないのが現状である。コンピュータ囲碁エージェントの作成には盤面評価を行う必要があるが、本研究ではエキスパート同士が対戦した棋譜を用いた囲碁の盤面評価関数の教師あり学習を提案する。この教師あり学習では、階層型ニューラルネットワークを用い、入力を対戦棋譜中のある一つの盤面、出力をその対戦の勝敗を表す二億(0, 1）として学習を行うことで、入力として与えられた盤面における期待勝率（盤面評価）を出力することが期待される。囲碁の盤面のような高次元入力データをもつデータを過学習せずに学習させるのは困難であるが、囲碁の特性を利用したパラメータ削減を行うことでパラメータ空間の自由度を制限した。また、大量のデータを高速に学習させるためにフィッシャー情報行列をブロック対角行列で近似し、その逆行列を逐次的に計算可能なオンライン適応自然勾配法を用いた。