非線形パーセプトロンのためのノードパータベーション学習の統計力学

摘要

ノードパータベーション学習は確率的勾配法の一つであり，目的関数を定式化できない問題にも適用できる利点がある．我々は前回の報告で出力がM個ある線形パーセプトロンのためのノードパータベーション学習の統計力学を構築した．その結果，出力数が増加したときに1出力当たりの汎化誤差が大きくなる原因が，他の出力の誤差によるクロストークノイズであることを明らかにした．本報告では，非線形パーセプトロンにノードパータベーション学習を適用するための学習則を提案し，その挙動を統計力学的手法により解析した．その結果，非線形パーセプトロンを用いると出力誤差の信号成分とクロストーク成分が異なり，出力数に対してクロストークの影響が非単調になることが分かった．これにより非線形パーセプトロンを用いた場合，出力数が増えたときの汎化誤差の劣化は線形より抑えられることがわかった．