手話動作の3要素に基づく実時間手話認識

摘要

手話を認識するためには手話動作から特徴抽出を行う必要があるが，視覚言語である手話は複数の構成素から成り立つため，認識対象とする構成素や使用時微量として様々な組み合わせが考えられる．そのため，使用するセンサや特微量が個々の研究によって異なり，手話データの汎用化が難しい．このような手話認識における研究背景を踏まえると，センサや使用特微量に依存しない認識方法を確立することが望ましい．手話は音韻学的に，主に「手の位置」，「手の動き」，「手の形」の3要素から構成されていると言われており，本研究ではこの考えに基づき，センサから得られた特微量を3要素における抽象化されたパターンに変換し，認識を行う手法を提案する．これにより，各パターンへの変換以降の処理を統一することができ，パターンの組み合わせにより手話単語の認識を行うため，計算コストを大幅に削減し，実時間での認識を可能にする．パターンの抽象化は手話単語辞書である日本手話·日本語辞書システムの表記法に基づいて行う．手話認識の辞書データとして大語彙が収録されているものを採用することで，大語彙認識への発展に期待できる．また，本手法の有効性を検証するために，手話単語の認識実験を行う．手の動きの認識にはHMM，手形状の認識には深度画像によるテンプレートマッチング，手の位置の認識には最尤推定法による正規分布を用いる．辞書の表記法に基づいた3要素の認識モデルを用意し，深度センサKinectを用いた，100単語を対象とした実時間での孤立単語認識実験を試みる．