手話素単位を用いた大語彙手話認識

摘要

手話認識における語彙を限定しない大語嚢認識の一手法を提案する．従来の手話認識手法の多くは単語HMMを用いた認識が行われているが，これらの手法では大語彙手話認識にそのまま適用することは困難である．そこで，音声の大語彙認識における音素単位に倣って，手話のさらに細かい単位である手話素単位で手話をモデル化することによって大語彙手話認識が可能になると考えられる．そこでは，手話認識に適した手話素の定義ならびに手話素を用いた認識アルゴリズムの開発が課題となる．本手法では，手話を右手·左手各々の「手の位置·動き」「手の形」「手首の向き」計6種類の要素の時系列データの組で表現し，それぞれの要素における手話素単位およびそのHMMを定義する．そして，要素ごとの出力尤度の重み付き和を認識に用いる．評価実験としてDepthカメラで撮影された258単語のアメリカ手話に対して手話の孤立単語認識を行い，語彙クローズドの条件での単語HMMによる正解率93.7％に対して提案手法では78.2％を得た．また，469単語の語彙オープンの条件での提案手法の正解率は23.6％となった．さらに，話者非依存の条件では単語HMMの正解率11.5％に対して提案手法の正解率は18.8％となった．