ショット内及びショット間の画像·吉声特徴に着目したスピーチショット抽出

摘要

本報告では，ショット内及びショット間の特徴に基づく被写体と話者の異同判定によるニュース映像からのスピーチショット抽出手法を提案する．スピーチショットはマルチメディア情報を豊富に含み，資料的価値が高い．そこで我々はこれまで，被写体の口唇動作と話者の声から得られる複数の音声特徴と画像特徴の相関に基づく被写体と話者の異同判定手法を提案してきた．この手法は，音声ノイズの少ないショットに対しては高精度な異同判定が可能であるが，多量の音声ノイズを含むショットに対しての異同判定は困難であった．そこで本報告では，2段階の処理による被写体と話者の異同判定手法を提案する．まず第1段階で，これまでに提案した手法により異同判定を行う．その後，第2段階で，ショット内及びその前後のショットとの間に表れる特徴的な画像·音声の性質に基づいて異同判定を行う．スピーチショット抽出実験の結果，提案手法の有効性を確認した．