一种视听融合的语音识别系统

摘要

本发明公开了一种视听融合的语音识别系统，采用视听耦合隐马尔科夫模型（Coupled Hidden Markov Model，CHMM），目的在于通过对视频信号和音频信号不同的采样率及延迟，允许了视听状态之间的状态的不同步（不用考虑视听同步过程）。一种视听融合的语音识别系统，包括：音频特征提取、视频特征提取、建立CHMM模型三个步骤。三个步骤之间的关系如下：对于视听语音识别系统而言就是由音频的HMM和视频的HMM组成。与单条链的HMM不同，CHMM可以通过节点之间的状态转移概率捕捉到音频和视频之间的相互作用关系，允许音频信息和视频信息的状态的异步。另外，对于耦合隐马尔科夫模型而言，音频链和视频链所利用的最大期望算法（EM算法）进行参数估计的过程是独立的，与需要实时关联的音频视频模型相比减小了参数空间和参数复杂性。