映像検索のための画像及び音響信号によるシーン間の相違度定義に関する検討

摘要

This paper proposes a method to calculate scene dissimilarities utilizing audio and visual signals for video retrieval. By utilizing Dynamic Time Warping, the proposed method calculates the scene dissimilarities by selecting the most similar features, which are selected from visual, audio, and their integrated features, and these selectings are perfomed between two shots in scenes. Furthermore, a new feature space which can match audio and visual features defined by utilizing canonical correlation analysis is introduced into these selectings. In conclusion, the proposed method can appropriately calculate the scene dissimilarities based on similar features between scenes. Experimental results performed by applying the proposed method to scene retrieval in actual video data are shown to verify its effectiveness.%本稿では，映像検索のための画像及び音響信号に基づくシーン間の相違度定義を行う手法を提案する．提案手法では，シーン間の任意の2ショットにおいて，画像特徴量，音響特徴量，及びそれらを統合して得られた特徴量を比較し，最も類似した特徴量に対しDynamic Time Warpingを施すことによりシーン間の相違鹿を算出する．この際，正準相関分析を用いて得られる写像により画像特徴量と音響特徴量を同一の特徴空間にて表し，この特徴空間にて特徴量の比較を行う．新たな特徴空間は，映像から得られる画像特徴量と音響特徴量の相関が最大となるような写像を用いて定義されるため，画像信号と音響信号に含まれる共通の特徴に着目した比較が可能となる．これにより，提案手法ではシーン間で類似した特徴量を適切に選択することで，高精度なシーン間の相違度算出を実現する．本稿の最後では，提案手法により得られる相違度を用いてシーン検索の実験を行うことで，その有効性を評価する．