軽量な画像特徴量を用いたマルチモーダル音声認識

摘要

音声と動画のマルチモーダル音声認識は，音声のみを用いた場合と比較して高い認識性能が期待さ れる手法であり，これまでの研究で雑音環境下での音声認識に有効であることが示されている．また画像特徴量として，様々なものが提案されている．しかしこれまでは認識性能に注意が向けられ，ポータブル機器等において重要な計算量に注目した研究はほとんど存在しない，実際，代表的な画像特徴量であるオプティカルフローや主成分分析に基づいた手法では，音響特徴量の計算と比べ計算量がかなり大きい．そこで本研究では，計算量と認識性能のバランスに優れた特徴量について検討を行った．発話区間検出を目的として提案された低輝度画素数に着日した特徴量を多次元に拡張し，マルチモーダル音声認識に応用する．実験ではビデオカメラで収録したデータとともにiPhone4で収録したデータを用い，捷案輝度特徴量が計算量が少なくどの環境においても認識性能の向上に有効であることを示す．