双模态语音识别中乘积HMM权重系数与瞬时SNR的关系研究

摘要

在有噪声污染等复杂情况下，为了能够得到更高的语音识别率，提出了一种新的乘积隐马尔可夫模型（HMM）用于双模态语音识别，研究并确定了模型中权重系数与瞬时信噪比（SNR）之间的关系。该模型在独立训练音频和视频HMM的基础上，建立二维训练模型，并使用重估策略保证更高的准确性。同时引入广义几率递减（GPD）算法，调整音视频特征的权重系数。实验结果表明，提出的方法在噪声环境下体现出了良好稳定的识别性能。