画像内の物体に着目した画像検索に関する検討: RetinaNetを用いた物体認識に基づく高精度化

摘要

検索クエリとして文を用いることが可能な画像検索は，ユーザが異なるモダリティを検索する際に，容易にクエリを用意可能であることが有効点とされている．それらの手法の中で，検索候補の画像にテキストのラベルが付与されていない状況においても，文をクエリとして検索可能な手法（以降，クロスモーダル検索手法）に対する需要は高まっており，高精度な手法の構築が期待されている．従来のクロスモーダル検索手法では，クエリ文全体から得られる文特徴量および検索候補の画像全体から得られる画像特徴量を同一な空間に射影し，比較することで検索が実現されてきた．しかしながら，従来のクロスモーダル検索手法は，射影の際にクエリの文に含まれる名詞および検索候補の画像に含まれる物体の情報を損失している可能性が存在する．そこで，本文では，物体認識手法を利用した検索候補画像の選別による，クロスモーダル検索手法の検索精度向上について検討する．具体的に提案手法では，検索候補の画像から認識された物体とクエリ文に含まれる名詞の類似度を算出し，画像の選別を行う．その後，選別された画像を新たな検索候補として，文全体および画像全体に着目することで得られる特徴量に基づき検索を行うことで，クエリ文の名詞に対応する物体が含まれる画像が検索結果として取得されると考えられる．本文の最後では，一般に公開されているデータセットを用いた実験により提案手法の有効性を確認する．