適応的自然勾配法の特異モデル学習への適用

摘要

特異モデルの学習では特異点においてFisher情報行列が縮退してしまうことが知られている．このため，幅広い適用範囲を持つ適応的自然勾配法においても，推定逆行列が発散するという形で破綻をきたすことが問題となっていた．本研究では，破綻の原因の一側面が数値精度に由来することに着目し，特異モデルであっても破綻をきたさない汎用的な枠組みを考案した．この結果，適応的自然勾配法の学習速度をあまり要化させることなく，また，計算量のオーダーを同じに保ったまま，特異モデルでの学習を可能とした．また，具体例としてソフトコミティーマシンにより提案手法を検証した．