画像のCNN 特徴とLSTM のデンス結合構造を用いた画像キャプションの生成

摘要

画像キャプション生成とは画像の内容をコンパクトに表現 理解し，画像に映る事象を言葉で説明できる文章を生成するタスクである．近年，深層学習を画像キャプション生成に応用し，多くの生成手法を提案されている．画像キャプション生成手法では，入力画像から畳み込みネットワーク(CNN) で表現特徴を抽出するEncoder と文章を生成するDecoder を構成したEncoder-Decoder の構造を主に用いられ，正しい文章の生成可能性を検証された．しかし，今までのEncoder-Decoder では，Encoder から得られたCNN 特徴をDecoder に一回だけ入力し，最初のkeyword のみを予測する．その後のkeyword 予測は前回得られたkeyword と回帰型ユニットの状態だけを用い，Encoder から得られた画像のCNN 特徴の有効的な活用ができないという問題がある．