ノードパー夕べーション学習の統計力学

摘要

ノードバータベーション学習は確率的勾配法の一つであり，目的関数を定式化できない問題にも適用できる利点がある．Werfelらはノードバータベーション学習の理論的な解析を誤差の入力平均の離散時間発展方程式である学習曲線を求めており，これにより入力や出力次元が有限な場合の誤差の解析が可能である．一方，我々は統計力学的手法により系の巨視的変数の決定論的な方程式を導出し，それらを用いて汎化誤差の解析を行った．その結果，出力数が増加したときに1出力当たりの汎化誤差が大きくなる原因が，他の出力の誤差によるクロストークノイズであることを明らかにした．また，Werfelらの学習曲線を熱力学的極限では我々の導出した汎化誤差と一致することを示した．%Node-perturbation learning is a stochastic gradient method, and it can apply to the problem where the objective function is not defined. Werfel gave the theoretical analysis of node-perturbation as a desecrate time learning curve obtained by averaging the error for possible inputs. On the other hand, we derive deterministic equations of the order parameters, which depict behavior of node-perturbation learning by using statistical mechanics method, and treated the generalization error as a function of the order parameters. Prom our analysis, we found the generalization error becomes large when number of outputs of the network becomes large through the cross-talk noise of the other outputs. We also found that Werfel's learning curve is identical to the generalization error when the thermodynamic limit is assumed.