音響エコーキヤンセラにおけるマルチモーダル信号処理によるダブルトーク検出の検討

摘要

本稿ではマルチモーダル情報（音響情報および画像情報）を用いたダブルトーク検出について検討を行う．音響エコーキヤンセラ（Acoustic Echo Canceller：AEC）はハンズフリーシステムやテレビ会議システムで用いられる．ところが，近端話者と遠端話者が同時に発話するダブルトーク状態では音響エコーキヤンセラの性能が劣化してしまう．そこで，サブ適応フィルタ（Sub Adaptive filter：Sub-ADF）を用いた音響エコーキヤンセラが捷案されている．しかし，この方法で用いられているダブルトーク検出器はダブルトーク状態を正確に検出することができない．そこで本稿では，ダブルトーク検出器の性能を向上させるためにマルチモーダル情報を用いたダブルトーク検出器を提案する．提案するダブルトーク検出器は二億化した口唇画像から得た画像情報とマイクロホン出力信号と適応フィルタ出力信号のパワーとの相関から得た音響情報から発話状態を検出する．そしてシミュレーションにより，従来手法と比較し提案手法の有用性を示す．%In this paper, we propose a double-talk-detector using multi-modal information (sound and image). An acoustic echo cancellation is used for hands-free telecommunication and teleconference systems. However, the performance of the acoustic echo cancellation deteriorates according to a double talk where the near-end talker and the far-end talker simultaneously utter. For this problem, the acoustic echo canceller (AEC) using Sub-Adaptive-Filter (Sub-ADF) has been already proposed. However, the double-talk detector cannot detect double-talk situations correctly. Therefore, we propose a double-talk detector using multi-modal information in order to improve the performance of the double-talk detector. The proposed double-talk detector detects a voice activity from image information which is obtained from binarized lip image and acoustic information which is obtained from the correlation between the microphone output and the adaptive filter output. Simulation results demonstrate that the proposed double-talk detector can improve the performance compared with the conventional one.