複素ニューラルネットワークモデルによる文脈依存シンボル列の学習

摘要

In this report, we describe a learning of context dependent symbolic sequences by a complex-valued neural network model. When the conventional Elman network is trained with context depend symbolic sequences, the network is often trapped to local minima. Especially when the training symbolic sequences contain successive repetition of a symbol, the training frequently fails. Therefore in this report, we construct an Elman network with complex-valued model neurons and propose a method for updating the state of the neuron that can deal with the repetition of a symbol. Then, we evaluate learning performance of this model by numerical experiments.%本報告では，複素数値化されたニューラルネットワークモデルを用いた，文脈依存型シンボル列の学習について述べる．文脈依存型シンボル列を従来の代表的なニューラルネットワークモデルであるElmanネットワークに学習させようとすると，特に同一のシンボルが連続して入力される場合や同一シンボル群が含まれる系列に対して局所解に陥りやすく，学習が失敗しやすい傾向がある．そこでElmanネットワークを複素ニューロンで構成し，シンボル列の持つ文脈情報を逐次的に確保しながら学習を行う方法を提案し，このネットワークの学習性能を評価する．