画像特徴を用いたキーワードの階層化手法とその画像アノテーションへの応用

摘要

This paper proposes a keyword hierarchy construction method and its application to automatic image annotation. This method takes advantage of the characteristic that keywords with high-level semantic meaning tend to high visial diversity across the corresponding image set. Based on this characteristic, the keyword hierarchy is constructed by using the following approach: First, a visual feature clustering method is applied to a set of images that are annotated with a target keyword. Then, a novel criterion that represents visual diversity of the keyword is introduced. Specifically, this criterion is calculated using both intra-cluster and inter-cluster visual similarities. Finally, the keyword hierarchy can be constructed by sorting the keyword criterions. Based on the obtained keyword hierarchy, low-level keywords are first estimated from visual features, and then high-level keywords are provided by using semantic relationships of the low-level keywords. This will improve performance of image annotation.%本文では，画像特徴を用いたキーワードの階層化手法を提案し，その画像アノテーションへの応用について検討する．提案手法では，意味的に上位となるキーワードほど，そのキーワードの付与された画像セットにおける画像特徴のばらつきが大きくなることに着目し，以下のアプローチによりキーワードの階層化を行う．まず，あるキーワードに関する画像セットにおいて，画像特徴に基づくクラスタリングを適用する。次に，得られた結果に対し，キーワードの視覚的多様性を表す指標を導入する．具体的に，この指標は，各クラスタにおける画像特徴の分散及びクラスタ間の類似度から算出し，値を降順に並べることで，画像特徴に基づくキーワードの階層化が可能となる．得られた階層性に基づき，まず意味的に下位となるキーワードを画像特徴を用いて推定し，それらのキーワードと強い関係を持つ上位のキーワードを付与することで，画像アノテーションの高精度化が期待される．