文字レベル残差畳み込みニューラルネットワークを用いた日本語文書分類に対する転移学習

摘要

畳み込みニューラルネットワーク(CNNs: Convolu-tional Neural Networks) は主に画像認識など，画像を適用の対象として発展してきたが，近年，文書分類にも適用され，高精度に分類ができることが知られてきている．とくに，Zhang ら[1] は，単語を文字レベルに分解したのち，比較的深い層をもつCNN により，文書分類を行い，優れた分類結果を得ている．しかし，日本語の文書に対する文字レベルCNN を用いた文書分類の研究例はまだ少ない．その原因として，文書分類に利用できる日本語データセットの少なさが挙げられる．その問題に対処する手法として，他のタスクの学習結果を用いる，転移学習と呼ばれる手法が挙げられる．本論文では，従来の文字レベルCNN に対し，残差ネットワーク(Residual Network) を適用し，より層を深くしたネットワークに対して，転移学習を行うことで，より精度を高めることを狙う．また，様々なデータセットにこの手法を適用し，その効果を確認する．