苦声情報と画像情報を融合したダブルトーク検出

摘要

テレビ会議システム等の拡声通話系で発生する音響エコーを除去する音響エコーキヤンセラ（AEC：Acoustic Echo Canceller）の一つにサブ適応フィルタ（Sub-ADF：Sub Adaptive Filter）を用いた手法が提案されている．ここで用いられるダブルトーク検出器において，音声情報に加え画像情報も用いるマルチモーダル処理を行うことで，ダブルトーク検出の性能向上を図る．本稿では画像処理により得られる口唇画像を2倍化処理し，得た画像特徴量を用い発話区間を検出する．これと音声情報を併用し，従来法の性能を上回るダブルトーク検出を実現する．%An acoustic echo canceller (AEC) using Sub-Adaptive-Filter (Sub-ADF) has been already proposed to remove an acoustic echo in teleconference system.In order to improve the performance of the double-talk detector in this method, we propose a double-talk detector using multi-modal information which consists of sound and image information. The proposed method detects a voice activity from image information which is obtained from binarized lip image and can consequently improve the performance of the double-talk detection.