単語の活用に着目した効率的な自然言語生成

摘要

1stmを用いたseq2seqモデルなど自然言語処理の学習には時間がかかりやすい．その対策としてattention機構のように効率的に学習が行えるようモデルの構造を工夫したり，Model parallelのような並列計算を行うといった計算方法の工夫がなされてきた．本研究では学習量を減らすことによって学習時間を短縮することを試みた．学習に時間がかかる要因の一つに学習コーパスに含まれる語彙数の多さが考えられる．一般にseq2seqモデルで学習を行う場合，10万前後の数の語彙を扱うことが多い．seq2seqモデルの入力にはone-hotベクトルを用いるがその次元はコーパスに含まれる語彙数になる．語彙数が増せばベクトルのサイズも大きくなり，またそれに合わせてseq2seqモデル内部の重み行列等のサイズも大きくなる．さらにそれは学習の際，大量のメモリを必要とすること意味する．そこで本研究では単語の活用に注目し学習モデルの精度を落とさずに語彙数を減らし，計算時間の短縮および使用メモリ量を削減することを目的とする．