画像内領域の顕著性を考慮した画像の説明文自動生成

摘要

近年，深層学習によって画像や言語の表現力が向上したことにより，画像説明文の自動生成などマルチモーダルなタスクが実現可能となっている．画像説明文の生成のための従来の典型的なアプローチは，画像特徴量から適切な単語を出力するニューラルネットを訓練することである．画像特徴量の抽出にはCNNが用いられるが，説明文生成に必要な画像内の情報を網羅することは難しい．本研究では，顕著性マップの情報を画像の説明文の自動生成手法に取り入れることを検討する．顕著性マップにより画面中の目立ったオブジェクトの領域を算出し，そこから顕著領域の画像特徴量を生成して利用することで，これらを用いなかった場合と比較して生成される説明文の品質が向上することを示す．