不動点ホモトピー法に基づく階層型ニューラルネットワークの学習アルゴリズム

摘要

階層型ニューラルネットワークの学習アルゴリズムには，多くのこう配法に基づく手法が提案されてる．しかし，こう配法に基づく最適化手法は，局所的最小解に陥る可能性があるため初期値を慎重に選ぶ必要がある．一方，回路シミュレーションなどの分野でホモトピー法と呼ばれる解析法が用いられている．この方法は，解曲線探索法と組み合わせて用いることで，非線形連立代数方程式の複数解を求めることができる手法である．本研究では，ホモトピー法を階層型ニューラルネットワークに対する学習アルゴリズムに適用することを考える．本手法が他の学習法と比較して，初期値によらず高い学習成功率をもつことを示す．また，ホモトピー法を用いることで複数個の解を一つの初期値から求めることができることを示す．