AAMを用いた唇領域特徴による音声発話認識

摘要

雑音環境下で頑健に音声認識を行う手法の一つとして，音声情報に唇動画像情報を併用して認識を行うマルチモーダル音声認識が注目され，近年研究が進められている．マルチモーダル音声認識では音声情報のみでなく画像情報も大きな役割を果たすため，画像に対してどのような特徴量を用いるかが重要な論点となる．従来から音声特徴量はMFCCなどある程度定まった特徴量が用いられているのに対し，画像特徴量はその抽出法の違いから，さまざまな特徴量が提案されている．本研究ではActive Appearance Modelを用いることで唇領域を自動抽出し，座標値と輝度値の情報を含んだActive Appearance Modelのcombinedパラメータを用いて発話認識することにより，特徴量としての有効性を確認する．%As one of the techniques for robust speech recognition under the noise environment, multimodal speech recognition using lip dynamic scene information together with audio information is attracting attention and the research is advanced in recent years. Since audio information together with visual information plays a great role in multimodal speech recognition, image features you use becomes a significant point. As for the visual features, various features have been proposed because of the difference of the extraction methods while the feature such as MFCC is used to a certain degree for audio features so far. This paper proposes, for spoken word recognition, to utilize c combined parameter extracted by Active Appearance Model applied to a face image including the lip area. Active Appearance Model contains information of the coordinate value and the brightness value as the imagernfeature.