手の位置と動きに着目したHMMによる手話単語の認識

摘要

手話においては，手の位置によって単語の意味合いが異なることから，本研究では手の位置と動きに着目して，これらを統合した手話単語の認識手法について検討を行った．手の位置は発話単位で正規化を行い，位置座標のフレーム差分を動きとして特徴量に加えてHMMにより単語どとにモデル化を行った．また，単詩によって手の位置と動きの重要度が異なると考え，それらを分析するためにマルチストリームHMMによる認識も行った．その結果，位置座標のみでは67.1%の認識精度に対して動きを加えることで79.9%の認識精度が得られた．さらに，マルチストリームHMMによる重みを変動させたところ，位置よりも動きの重要性が大きいことが明らかになった．%In sign language, the meaning of a word varies with hand positions. Thus, we studied on word recognition method integrated the position and movement of hands. The hand position was normalized for each utterance. We extracted the difference between frames as the movement from the position coordinate. The word recognition was performed using hidden Markov model based on these features. Furthermore, we assumed that the importance of the position and movement of hands changes with words and also performed the word recognition by the multi-stream HMM. As a result, recognition accuracy was 67.1 % by using only hand position and was 79.9 % by using both of the position and movement of hands. Moreover, we demonstrated that the importance of the movement was larger than the position by the multi-stream HMM.