面向智能助听系统的语音处理研究

摘要

据世界卫生组织报告称，目前全世界共拥有3.6亿听力受损者，由于用耳不规范现象的普遍存在，这个听力受损者人数仍在增长，在10年内会突破9亿。然而由于传统助听设备价格昂贵并且不能满足所有用户需求于一体，因此，利用价格适宜的嵌入式平台开发一种集成多种声音处理功能并且有良好用户体验的智能助听系统具有非常重要的现实意义。同时，我们从改变人类听力方式的角度出发，结合语音建模、识别和分离等技术，设计一种同时适用于正常人的智能听力系统，将听觉从被动转为主动，实现让任何人在任何地方听到自己想听的声音，屏蔽一切自己不想听的声音，这一思想将对未来智能体系提供一个新思路。 本论文以智能助听系统为研究背景，以现有的语音识别、声源定位以及混合声音分离等语音处理技术为基础，针对复杂语音环境下智能获取目标语音信息问题，在现有的处理技术分析基础上，主要开展研究工作如下: (1)针对复杂语音环境下智能获取目标语音信息问题，为了实现复杂语音环境下根据用户需求智能分离获取用户指定的目标语音信息的目标，设计了由语音建模模块、混合语音环境下多语音源定位模块、混合语音分离与识别提取模块组合成的目标系统框架。 (2)针对目标系统框架中的语音建模问题，重点开展了具有鲁棒性的说话人建模方法的研究，通过在语音预处理部分采用了改进的语音端点检测，进而改进了在低信噪比语音环境下说话人模型的可靠性。 (3)针对复杂环境下目标语音源的提取问题，以盲信号分离理论和语音以别理论为基础，开展了将复杂环境下混合语音源分离后根据识别结果提取目标声源的研究。通过研究基于声音强度矢量分布对声音信号进行分离，然后将分离后的信号与目标声音的高斯混合模型进行识别，最终提取匹配的目标声音。 (4)针对复杂环境下多语音源的确定问题，以基于矩阵特征空间分解的MUSIC（Multiple Signal Classification，多信号分类）算法为基础，开展了多运动语音源的定位与预测的研究，提出了基于卡尔曼滤波和粒子滤波的声源方向实时预测跟踪，实验验证了这两种方法的合理性和准确性，同时还对比分析了这两种声源方向预测的结果，分析了两种方法的优缺点。 (5)针对系统硬件平台实现问题，本文选取在TMS320DM642硬件平台上实现整个智能听力系统，完成了以上算法从PC平台向嵌入式DSP平台的移植，进一步验证智能听力系统的可行性，也为未来系统的产品化奠定基础。 本论文的工作，为发展可穿戴设备提供了新的思路，从改变听觉模式的角度出发，为改变人们的听觉方式以及进一步的生活习惯提供的新的视角和理论技术基础，也为发展语音处理技术提供的新的知识基础。

目录

声明

摘要

第1章绪论

1．1研究背景

1．1．1传统助听器概述

1．1．2助听器的发展

1．2国内外智能助听器研究现状

1．2．1国外智能助听器的研究现状

1．2．2国内智能助听器的研究现状

1．3研究意义

1．4组织结构

第2章智能助听系统框架

2．1语音建模部分

2．1．1说话人识别简介

2．1．2说话人识别分类

2．1．3说话人识别的主要方法

2．2复杂环境下混合语音分离及目标人语音的提取部分

2．2．1混合信号盲分离的提出与发展

2．2．2混合信号多通道盲分离的模型与定义

2．2．3混合信号多通道盲分离的方法

2．2．4指定目标人语音信息提取

2．3本章小结

第3章基于GMM的说话人语音模型

3．1语音信号产生机理

3．2语音信号的预处理

3．2．1预加重

3．2．2分帧和加窗

3．2．3双门限端点检测

3．3高信噪比下基于双门限端点检测的高斯混合模型

3．3．1 MFCC特征提取

3．3．2高斯混合模型

3．3．3模型评价

3．3．4实验结果及分析

3．4低信噪比下基于改进端点检测的高斯混合模型

3．4．1多窗谱估计谱减法和能熵比法的端点检测

3．4．2实验结果及分析

3．5本章小结

第4章复杂环境下混合语音分离与目标语音提取

4．1 MUSIC算法确定多目标语音个数和方向

4．1．1概述

4．1．2算法原理

4．1．3仿真实验

4．2基于声音强度矢量方向的多声音分离

4．2．1声波、声强和声压的物理基本概念

4．2．2算法原理

4．2．3声音分离质量评价

4．2．4仿真结果

4．3基于声音强度矢量方向的多声源完全盲分离算法

4．3．1算法原理

4．3．2仿真结果

4．4基于声源方向跟踪的多声源完全盲分离算法

4．4．1卡尔曼滤波的声源跟踪算法原理

4．4．2仿真实验

4．4．3基于粒子滤波的声源跟踪算法原理

4．4．4仿真结果

4．5目标语音提取

4．6本章小结

第5章智能助听系统的硬件平台实现

5．1系统的硬件平台搭建

5．1．1系统总体方案设计

5．1．2语音采集与输出模块

5．1．3 DSP数据处理模块

5．1．4 DSP数据处理模块

5．1．5时序逻辑控制模块

5．1．6 JTAG接口模块

5．2硬件平台上的软件实现

5．2．1系统的初始化

5．2．2数据的存储

5．2．3数据的处理

5．3系统性能与结果分析

5．4本章小结

第6章总结与展望

6．1本文的主要贡献与结论

6．2未来工作

参考文献

致谢

攻读硕士学位期间的论文专利情况