マルチモーダル・マルチフレームな手法を用いたTRECVIDセマンティツクインデクシング

摘要

本稿では，我々の提案するマルチモーダル・マルチフレームなセマンティツクインデクシング手法の，TRECVID2010ワークショップにおける評価結果を報告する．セマンティツクインデクシングの目的は，映像の中から「人が歌っている」・「飛行機が飛んでいる」など，意味を持った場面を検出することであり，様々な検出対象に対応できる汎用的なシステムが求められる．提案手法は，単純かつ高精度な検出器を目指し，画像特徴のSIFT特徴と音響特徴のMFCC特徴をGaussian Mixture Model（GMM）supervectorによりモデル化したマルチモーダルな手法である．SIFT特徴をショット中の複数のフレームから抽出を行うことで検出精度の向上を図った．TRECVID2010のデータセットで評価実験を行った結果，総合評価のMean Inferred Average Precisionは7．36%となった．%We propose a multi-modal, multi-frame approach for semantic indexing in the TRECVID 2010 workshop. The goal of the semantic indexing is to develop a method for indexing many concepts that will be useful for video search. In this study, we implement a simple and accurate system by using Gaussian Mixture Model (GMM) supervectors with SIFT and MFCC features. The SIFT features are extracted not only from key-frames but also from many image frames in a shot in order to get the most out of multi-frame information. Our best result on the TRECVID 2010 dataset was 7.36% in terms of Mean Inferred Average Precision.