マルチモーダル音声認識におけるストリーム重み係数最適化の検討

摘要

近年，音声認識の頑健性向上の手法のひとつとして，音声情報に加え唇動画像の情報を利用するマルチモーダル音声認識が注目され，多くの研究が進められている．マルチモーダル音声認識で広く用いられているマルチストリームHMMでは，ストリーム重み係数を自動的に調整することが認識性能向上に必要不可欠である．本研究では，正解（仮説）単語とその他の単語の尤度の差が最大となるよう，尤度比最大基準に基づくストリーム重み最適化手法を提案する．車載カメラで収録した実環境データを用いた認識実験により，教師なし条件で提案法の評価を行ったところ，MLLR適応と提案手法をあわせて行うことで，音響のみの結果と比べ，約29％の正解精度の改善，約76％の誤り率の削減に成功した．