基于双耳空间信息的语音分离研究

摘要

语音分离技术尤其是基于人耳听觉的语音分离技术，在语音增强、语音识别和助听器等语音信号处理领域具有重要的地位。本文以双耳空间信息为基础，结合语音信号的稀疏性，提出了两种基于双耳定位的语音分离方法:基于时频掩蔽的语音分离和基于压缩感知的语音分离。
　　对于基于空间信息的多声源混合语音分离，论文主要做了以下几方面的工作:
　　(1)分析了双耳定位的语音分离的研究思路。空间听觉是人耳听觉的一个重要特性，多声源环境下，入耳听觉系统首先整合声源的空间信息，经由大脑的中枢神经，进行定位及分离，本文根据该特性，提出了先通过双耳定位算法对多声源进行定位，再根据定位结果进行语音分离的思路。
　　(2)研究了双耳多声源定位算法。通过对耳间时间差和耳间强度差两个声源定位线索进行模型训练，建立方位映射模型，将多声源混合语音进行参数提取，通过耳间时间差与耳间强度差的联合判定，获取多声源定位结果，包括声源个数及其对应的水平面上的角度。实验结果表明，该定位算法对单声源至多声源定位有较高的定位准确度。
　　(3)提出了基于双耳定位结果的时频掩蔽语音分离算法。在多声源环境下，在频域的同一频点，能量最大的声源将掩蔽其它能量较小的声源，最终只有一个信号占主导，本文依据语音信号的频域稀疏性，根据声源定位的结果，将所有时频点都划分为离该时频点距离最近的声源，将每个声源所划分到的时频点进行时域转换，获得该声源的分离信号。基于双耳定位的时频掩蔽语音分离其实验结果要明显优于同类算法。
　　(4)提出了基于双耳定位结果的压缩感知语音分离算法。本文分析了基于双耳的多声源混合模型，其形式与基本的压缩感知模型是相一致的，因此，本文利用双耳定位结果、声源的字典信息和混合语音构建出压缩感知模型，采用正交匹配追踪算法对多声源混合语音进行重构，实验结果表明，语音分离指标SIR、SNR与时频掩蔽方法相比获得有效提高。

目录

声明

摘要

第一章 绪论

1．1 语音分离的研究背景和意义

1．2 语音分离技术的研究现状

1．3 本文的主要研究内容

1．3．1 基于双耳声源定位的语音分离

1．3．2 基于压缩感知的语音分离

1．4 本文的内容安排

第二章 双耳空间信息语音分离介绍

2．1 人类的听觉系统

2．1．1 人耳听觉的生理结构

2．1．2 空间听觉

2．1．3 空间坐标系统

2．2 声源定位线索

2．2．1 耳间时间差

2．2．2 耳间强度差

2．3 双耳信号采集

2．3．1 与头相关传递函数

2．3．2 双耳信号的计算机模拟

2．3．3 人工头采集双耳信号

2．4 基于声源定位的语音分离概述

2．4．1 传统语音混合模型

2．4．2 基于人耳的语音混合模型

2．4．3 语音分离性能评估

2．5 本章小结

第三章 基于双耳声源定位的语音分离

3．1 基于声源定位的语音分离系统

3．2 定位线索估计

3．2．1 耳间时间差估计

3．2．2 耳间强度差估计

3．3 多声源数据训练

3．3．1 预处理

3．3．2 建立方位映射模型

3．4 多声源双耳定位算法

3．4．1 混合信号处理

3．4．2 候选ITD筛选

3．4．3 匹配模型ITD参数并筛选

3．4．4 匹配模型IID最终定位

3．4．5 算法定位性能

3．5 基于T-F mask的语音分离

3．5．1 语音信号的频域稀疏性

3．5．2 基于T-F mask的语音分离算法

3．5．3 T-F mask算法分离结果

3．6 本章小结

第四章 基于双耳压缩感知的语音分离

4．1 压缩感知理论基础

4．1．1 信号的稀疏表示

4．1．2 信号的观测

4．1．3 信号的重构

4．2 基于压缩感知的欠定盲源分离

4．2．1 压缩感知盲源分离模型

4．2．2 基于双耳的压缩感知语音分离模型

4．2．3 正交匹配追踪算法

4．3 基于双耳的OMP语音分离算法

4．3．1 基于双耳OMP语音分离系统概述

4．3．2 字典训练

4．3．3 OMP算法实现

4．3．4 信号重构

4．3．5 OMP算法分离结果

4．3．6 本章小结

第五章 总结与展望

5．1 工作总结

5．2 工作展望

致谢

参考文献

攻读硕士学位期间参加的科研项目和完成的论文