画像特徴と単語の分散表現を活用した感性語を付与した画像キャプションの自動生成

摘要

本稿では、画像特徴と単語の分散表現を活用した感性語を付与した画像キャプションの自動生成を提案する。提案システムには、以下の2点の特長がある。第一に、物体の感性語を推定する際、画像特徴だけでなく物体の名詞情報も活用した点である。提案システムでは、Convolutional Neural Network（CNN）を用いて抽出した画像特徴とword2vecで分散表現に変換した名詞情報を入力とし、感性語を推定するニューラルネットワークを構築することでより正確に感性語を推定する。第二に、表現力の高い感性語を生成するための感性語変換機構を構築した点である。Word2vecのcos類似度計算を活用し、複数の感性語をより表現力の高い感性語に変換する。評価実験の結果、名詞情報を活用した感性語推定によって、画像特徴のみを利用したシステムと比較して高い正解率で感性語が推定できることが確認された。また、提案システムによって多様な感性語を付与した表現力の高い画像キャプションが生成可能であることが示唆された。