適応的自然勾配法の特異モデル学習への適用

摘要

特異モデルの学習では特異点においてFisber情報行列が縮退してしまうことが知られている．このため，幅広い適用範囲を持つ適応的自然勾配法においても，推定逆行列が発散するという形で破綻をきたすことが問題となっていた．本研究では，破綻の原因の一側面が数値精度に由来することに着目し，特異モデルであっても破綻をきたさない汎用的な枠組みを考案した．この結果，適応的自然勾配法の学習速度をあまり悪化させることなく，また，計算量のオーダーを同じに保ったまま，特異モデルでの学習を可能とした．また，具体例としてソフトコミティーマシンにより提案手法を検証した．%Fisher information matrix degenerates at singular points in singular learning machines (SLM). Therefore, the adaptive natural gradient descent (ANGD) breaks down because the estimated inverse Fisher information matrix is diverged. In this research, we propose a general method avoiding the divergence of the Fisher information matrix by focusing on one aspect of this problem, i.e., the divergence is caused by the limit of the numerical precision. We have validated the proposed method using soft committee machines. Compared to the original ANGD, the proposed method successfully avoided the divergence without any significant degradation of both the training speed and the calculation cost.