テキストクエリで指定した画像中の領域を特定する一手法

摘要

テキストクエリで指定した画像中の領域を特定する手法を開発したので報告する．入力は画像と領域を示すテキストで，出力は矩形領域（x，y，w，h）（（x，y）は領域左上の座標，wは幅，hは高さ）という問題に対して，深層学習を応用したモデルを構築し，回帰問題に帰着させた提案方法を述べる．回帰を用いることであらかじめ候補領域の予測を行う必要がなくなる．評価にはノースキャロライナ大学が開発したデータセットReferItを用いた．その結果，矩形領域の4つのパラメータを独立に予測するベースライン手法や候補領域にランキングを付けるHuらの手法［2］より優れた精度に達した．