横顔の発話シーンを用いた口形コード法に基づく単語読唇

摘要

本研究では、読唇手法のひとつである口形コード法を発話者の横顔の発話シーンから得られた形状特徴量時系列に適用し、従来の母音キーフレームに追加して子音キーフレームの自動検出法を提案する．上下唇の距離と下唇突起長の差分値である横顔形状特徴量の時間的変化より子音キーフレームを検出することで、従来の母音のみによる口形コード時系列推移表現を拡張する．キーフレームの口形認識は、上唇高さ，下唇高さ，上唇突起長，下唇突起長，口唇角度の5特徴量を用いて行う．これより得られる単語コード列と候補単語のコード列に対して、DP マッチングを行い、最近傍となる候補単語を発話単語として推定する．常用27単語と類似単語10ペアの認識対象単語群を用いて2つの認識実験を行った結果、それぞれ90.4％，86.7％の高い認識率を得た．