基于语音信号可视化的听觉补偿方法研究

摘要

语音是人类之间交流信息的主要手段之一，目前，针对丧失了语言交流能力的听力障碍者，出现了语言康复训练系统和语言读写系统两类辅助设备。将语音信息以视觉或触觉的方式传递给听力障碍者是进行听觉补偿的新方法，因此论文以语音可视化为背景，进行听觉补偿方法的研究。
　　 本文针对目前听力障碍者的听觉补偿方法，建立了语音信号图像显示的听觉补偿方法。以5个单元音以及词汇为实验对象，应用语音信号处理的基本理论，对语音信号的预处理、特征提取与识别算法等环节进行了计算验证、性能分析和结果评述。应用神经网络理论基础，构建语音识别神经网络模型BP(Back-PropagationNetwork)网络结构，采用双门限法端点检测后用美尔频率倒谱系数MFCC(Mel-frequency cepstral coefficient)提取语音特征参数，用动态时间规整DTW(Dynamic Time Warping)技术规整后输入构建好的BP网络结构中，进行网络学习，网络训练完毕后将测试样本输入已训练的网络进行识别。对识别后的语音信号，采用语音信号的共振峰、基频、MFCC等特征参数建立图像显示信号，横轴对应为语音信号采样时间，纵轴为频率，建立实验对象学习方法，并进行结果分析，使用Matlab完成算法实现。
　　 实验结果表明本文采用的算法不但有很高的识别效果，而且语音的图像显示表证了语音的意义，可以帮助听力障碍者感知声音，具有很好的研究价值和应用价值。

目录

文摘

英文文摘

第1章 绪论

1.1 课题研究背景及意义

1.1.1 课题研究背景

1.1.2 课题研究意义

1.2 相关领域的研究进展

1.2.1 听觉补偿方法的研究现状

1.2.2 语音识别的研究

1.2.3 神经网络在语音识别中的应用

1.3 语音可视化的可行性分析

1.4 论文组织结构

1.5 本章小结

第2章 语音信号的分析与特征提取

2.1 语音信号的产生机理

2.1.1 语音信号产生过程

2.1.2 语音信号产生的数学模型

2.2 语音信号的特性分析

2.2.1 语音信号的声学特性

2.2.2 语音信号时域特性分析

2.2.3 语音信号频域特性分析

2.3 语音信号的特征提取

2.3.1 共振峰估计

2.3.2 基音周期估计

2.3.3 线性预测倒谱系数

2.3.4 Mel频率倒谱系数

2.4 本章小结

第3章 语音可视化的神经网络建模

3.1 神经网络的基本概念

3.1.1 神经网络模型的构成

3.1.2 神经网络模型的运行

3.2 神经网络的基本模型

3.2.1 BP网络结构

3.2.2 BP网络算法

3.3 建模中的语音动态时间规整

3.4 本文神经网络建模方法

3.4.1 BP网络设计

3.4.2 BP网络实现

3.4.3 实验结果与分析

3.5 本章小结

第4章 听觉补偿方法基本思想与设计

4.1 设计思想

4.2 总体设计

4.3 详细设计

4.3.1 语音处理模块

4.3.2 彩色显示模块

4.4 本章小节

第5章 实验分析与讨论

5.1 特征参数分析

5.1.1 共振峰分析

5.1.2 MFCC和LPCC分析与处理

5.2 语音特征资料库的实现

5.3 可视化结果分析

5.3.1 汉语语音学分析

5.3.2 单音学习

5.3.3 字词学习

5.3.4 学习结果分析

5.4 本章小结

第6章 总结与展望

6.1 工作总结

6.2 需解决的问题

参考文献

致谢

攻读硕士学位期间发表的论文