エルマンネットを拡張した語系列予測モデルの提案と評価

摘要

Elman proposed simple recurrent network which is a model of language acquisition. Elman showed that SRN learns to predict the next word of the sentences and can acquire grammatical concepts and meanings. It is difficult for SRN to learn the sentences which have a lot of words and contain complicated structure. We improve SRN and propose a model of word sequence prediction. We propose how to learn to predict the next words by distributed networks whose structure are decided by bigram. Proposed networks have local connections and learn words and grammatical features. We evaluate our model with learning of next word prediction.%エルマンは単純再帰結合型ネットワーク（エルマンネット）を用いて，言語の学習過程における語彙や文法獲得のモデルを提案した.これは，英語文を単語単位に区切って現時点の単語を提示し，次単語を予測する学習をエルマンネットで行なうことによって文法獲得が可能なことを示した．しかし，エルマンネットによる文法獲得の学習は語彙や文法規則に制約を設けた人工文を対象としている．また学習対象が長文の場合，過去の入力情報が蓄積されていかないといったことが指摘されている．そこで本研究においてはエルマンネットを拡張し，上記の課題に対応が容易な語系列予測モデルを提案する．これは学習例文に用いる単語の隣接情報を用いてネットワークの構造を決定し，さらにネットワーク内部の局所結合化を図り，単語の履歴情報と文脈情報を区分し学習することによって実現を試みる．そして次単語予測学習を通して提案モデルの評価を行なう．