ホモトピー法に基づく階層型ニューラルネットワークの学習アルゴリズムに関する研究

摘要

階層型ニューラルネットワークにおける学習アルゴリズムには，学習速度の向上のために多くの勾配法が適用されている．しかし，勾配法に基づく最適化手法は，収束速度は速いが，局所的最小解に陥る可能性があるため初期値を慎重に選ぶ必要がある．一方，回路シミュレーションの分野でホモトピー法と呼ばれる最適化手法が提案されている．この方法は，解曲線を探索することによって複数の解を求めていく方法である．また，この方法は大域収束性を持つ方法としても知られている．本研究では，学習の成功率を向上させるため，ホモトピー法を階層型ニューラルネットワークにおける学習アルゴリズムに適用し，初期値によらず高い学習成功率を持つことを示す．また，ホモトピー法を用いることで汎化能力の異なる複数解を1つの初期値から求めることができることを示す．