タグ付き画像を用いたコンセプト間の関係抽出の高精度化に関する検討

摘要

本文では，タグ付き画像を用いたコンセプト間の関係抽出手法について検討する.従来より，タグ付き画像より算出される画像特徴およびテキスト特徴を用いてコンセプト間の関係を定量化する手法が種々提案されてきた.我々が以前に提案した手法では，画像特徴およびテキスト特徴に基づくコンセプト間の関係をそれぞれカーネル密度推定およびword2vecをもとに算出する.しかしながら，カーネル密度推定では，コンセプト間の関係を適切に表現することが困難な場合が存在する.そこで，提案手法では，画像特徴の変化に頑健な表現方法であるlocality-constraint linear codingを用いる.また，自然言語処理の分野で，コンセプトの表現能力においてword2vecを上回ると報告されているGloVeを用いることで，コンセプト間の関係抽出の高精度化を図る.画像特徴およびテキスト特徴それぞれについてコンセプトの表現能力を向上させることで，それらを用いたコンセプト間の関係抽出の高精度化を実現する.%This paper presents a method for accurate extraction of concept relationships using tagged images. Previous methods extract concept relationships using either or both of visual features and textual features extracted from tagged images. In the method that we have previously proposed, visual similarity and textual similarity are calculated based on kernel density estimation and word2vec, respectively. Although kernel density estimation considers distributions of the visual features, there is still room for accuracy improvement of concept relationship extraction. In this paper, we utilize locality-constraint linear coding (LLC) to achieve accurate extraction of concept relationships, which is robust to visual variations. The proposed method also utilizes GloVe, which reportedly represents concepts more effectively than word2vec in the field of natural language processing. Experimental results show that LLC and GloVe contribute to effective representation of concepts and improve the accuracy of the subsequent extraction of the concept relationships.