画像内の物体に着目した画像検索に関する検討: RetinaNetを用いた物体認識に基づく高精度化

摘要

検索クエリとして文を用いることが可能な画像検索は，ユーザが異なるモダリティを検索する際に，容易 にクエリを用意可能であることが有効点とされている.それらの手法の中で，検索候補の画像にテキストのラベルが 付与されていない状況においても，文をクエリとして検索可能な手法(以降，クロスモーダル検索手法）に対する需要 は高まっており，高精度な手法の構築が期待されている.従来のクロスモーダル検索手法では，クエリ文全体から得 られる文特徴量および検索候補の画像全体から得られる画像特徴量を同一な空間に射影し，比較することで検索が実 現されてきた.しかしながら，従来のクロスモーダル検索手法は，射影の際にクエリの文に含まれる名詞および検索 候補の画像に含まれる物体の情報を損失している可能性が存在する.そこで，本文では，物体認識手法を利用した検 索候補画像の選別による，クロスモーダル検索手法の検索精度向上について検討する.具体的に提案手法では，検索 候補の画像から認識された物体とクエリ文に含まれる名詞の類似度を算出し，画像の選別を行う.その後，選別され た画像を新たな検索候補として，文全体および画像全体に着目することで得られる特徴量に基づき検索を行うことで， クエリ文の名詞に対応する物体が含まれる画像が検索結果として取得されると考えられる.本文の最後では，一般に 公開されているデータセッ卜を用いた実験により提案手法の有効性を確認する.