多模式汉语连续语音识别中视觉特征的提取和应用

摘要

本文对在汉语多模式汉语语音识别系统中利用视觉特征进行了研究,给出了基于多流隐马尔科夫模型 (Multi-stream HMM, MSHMM)的听视觉融合方案,并对有关视觉特征的两项关键技术：嘴唇定位和视觉特征提取进行了详细讨论.首先,我们研究了基于模板匹配的嘴唇跟踪方法；然后研究了基于线性变换的低级视觉特征,并与基于动态形状模型的特征作了比较；实验结果表明,引入视觉信息后无噪环境下语音识别声学层首选错误率相对下降36.09%,在噪声环境下的鲁棒性也有明显提高.