映像検索のための画像及び音響信号によるシーン間の相違度定義に関する検討

摘要

本稿では，映像検索のための画像及び音響信号に基づくシーン間の相違度定義を行う手法を提案する．提案手法では，シーン間の任意の2ショットにおいて，画像特徴量，音響特徴量，及びそれらを統合して得られた特徴量を比較し，最も類似した特徴量に対しDynamic Time Warpingを施すことによりシーン間の相違度を算出する．この際，正準相関分析を用いて得られる写像により画像特徴量と音響特徴量を同一の特徴空間にて表し，この特徴空間にて特徴量の比較を行う．新たな特徴空間は，映像から得られる画像特徴量と音響特徴量の相関が最大となるような写像を用いて定義されるため，画像信号と音響信号に含まれる共通の特徴に着目した比較が可能となる．これにより，提案手法ではシーン間で類似した特徴量を適切に選択することで，高精度なシーン間の相違度算出を実現する．本稿の最後では，提案手法により得られる相違度を用いてシーン検索の実験を行うことで，その有効性を評価する．