多層パーセプトロンの学習法に関する再検討

摘要

深層学習; 学習則; ニューラルネットワーク; 誤差逆伝搬法; 確率傾斜降下法; 確率傾斜向上法; 多層パーセプトロンの ;これまで深層学習の発展と共に、ニューラルネットヮークの学習則、すなわち最適化手法も多く提案されてきた。 本論文では、これまで最も知られる誤差逆伝搬法(BP法)と、確率勾配降下法(SGD法)の最先端であるAdam法及び強化学習の報酬を用いたSGA法による多層パーセプトロンの学習アルゴリズムに導入し、IRISやMNISTデータを用いてこれらの最適化手法の性能比較を行った。実験結果より、交差エントロピー評価関数を用いたAdam法は最も良い性能を持つことが明らかになった。また、SGD法において、Adam法より更なる新しい提案Eve法があり、その学習性能の検証は今後の課題にしたい。