後退最急降下法に基づく階層型ニューラルネットワークの学習アルゴリズム

摘要

階層型ニューラルネットワークの学習則として, 一次収束性や二次収束性を持つ方法がある。前者は最急降下法(Steepest Decent method, SD法)などを用いたアルゴリズムであり,後者はGauss-Newton法(GN法)などのアルゴリズムである。 本研究ではSD法の勾配を陰的に解く後退最急降下法(Backward Steepest Decent method, BSD法)を用いた学習アルゴリズムを提案する。 また,このBSD法がGN法を包括していることを示す。 これによりBSD法はSD法とGN法の両者の特徴をあわせ持つ新たな学習法であると考えることができる。 さらに, BSD法にモーメント法の手法を加えたBSDM(Backward Steepest Decent with Momentum)法を提案し,これが数値解析法におけるセミインプリシット手法に基づいていることを示す。 コンピュータシミュレーションでは提案手法とGN法の学習能力を比較する。