双模态语音识别的视频特征快速提取方法研究

摘要

双模态语音识别技术已成为国内外研究热点，通过将唇动信息加入到原有语音识别系统中，以提高语音识别率。本文重点研究双模态语音识别技术中视频特征的快速提取方法，采用了局部限制模型的方法(CLM)来实现。
　　首先建立唇部形状模型，对数据库的唇部进行标定，然后对标定数据进行Procrustes分析，并利用主成分分析算法(PCA)对Procrustes后的数据进行分析，建立唇部形状模型。其次，建立了唇部强度模型，在标定特征点周围提取图像作为训练数据，用线性支持向量机对数据进行训练来建立强度模型。最后，利用建立的模型对测试图像唇部进行特征提取。实验结果表明，CLM可实现唇部特征的提取工作，选用的19个特征点唇部标定方案相比以往标定方法可更快速地提取唇部特征。

目录

声明

摘要

第一章 绪论

1．1 课题的研究背景和意义

1．2 国内外研究现状

1．2．1 国外研究现状

1．2．2 国内研究现状

1．3 本文主要研究内容

1．4结构安排

第二章 特征提取方法概述

2．1 特征提取方法概述

2．1．1 基于整幅图像的方法

2．1．2 基于几何特征的方法

2．1．3 基于模型的方法

2．2 本章小节

第三章 唇部形状模型建立方法研究

3．1 形状模型建立方法概述

3．1．1 主动轮廓模型的方法

3．1．2 可变形模板的方法

3．1．3 隐马尔可夫模型的方法

3．1．4 主动形状模型的方法

3．2 点分布模型

3．2．1 标定样本

3．2．2 Procrustes分析

3．2．3 主成分分析

3．3 实验及结果分析

3．3．1 实验结果

3．3．2 实验结果分析

3．4 本章小节

第四章 唇部强度模型建立方法研究

4．1 强度模型建立方法概述

4．1．1 主动形状模型的方法

4．1．2 主动表观模型的方法

4．1．3 局部限制模型的方法

4．2 局部限制模型的强度模型建立方法

4．3 实验结果及分析

4．3．1 实验结果

4．3．2 实验结果分析

4．4 本章小节

第五章 唇部特征提取方法研究

5．1 局部限制模型的特征提取方法

5．2 特征提取过程

5．3 实验结果及分析

5．3．1 实验结果

5．3．2 实验结果分析

5．4 本章小节

第六章 总结与展望

6．1 总结

6．2 展望

致谢

参考文献

在研期间发表文章及参加科研情况