相位信息对重构语音声调和音乐旋律感知影响的研究

摘要

声调感知和音乐感知差是目前人工耳蜗产品存在的主要问题之一。声调本质是音高的变化模式，音乐旋律的表达是不同音高的音符按一定组合关系连接而形成的，两者都是音高变化的表现。声信号的完整表达由三个主要特征构成，幅度特征、频率特征和相位特征。目前，人工耳蜗常用编码策略均能较好地表达声信号的幅度特征和频率特征，而相位特征常被忽略或未作专门处理。因此，相位特征和音高感知之间的关系值得深入研究。
　　本文用信号分析再重构的方法，采用短时傅里叶变换技术，利用主观测听评估方式，对语音声调和音乐旋律感知与相位特征的关系进行了若干实验研究，并给出研究结论。(1)在常用窗长相位变化实验中，当相位特征置零，实验发现，此时重构音节音质下降，但音节识别率未明显下降（大于92％），而重构音节的四声调型几乎都听成“阴平”（即一声），无四声变化;当相位特征随机分布，实验发现，此时重构音节四种调型可部分识别，音质较零相位时有所下降，从而表明，相位特征对声调感知有明显的影响。(2)当改变窗长时，用零相位特征重构音节，声调测试发现，当窗长缩短至较短时，如2ms或1ms，重构音节的声调又恢复。该结果表明:窗长缩短（即信号时间分辨率提高），即使在相位特征缺失下，声调特征仍较好保留。(3)进一步，采用声音嵌合重构方法，即用不同调型音节的幅频特征与相位特征交叉嵌合、重构音节，测听嵌合重构音的声调，结果发现:嵌合音的四种调型均以较高的识别率与提供相位特征的音节调型一致。由此推断:声调的感知主要取决于相位特征。(4)为研究音乐旋律和相位特征的关系，也进行了常用窗长零相位重构实验和变窗长零相位实验。在常用窗长下，实验发现，音乐旋律识别效果差，大都听为“平调”;当窗长缩短至1ms，音乐旋律又可识别。该结果也表明:音乐旋律的表达与相位特征密切相关，提高时间分辨率同样可以弥补相位特征缺失对音高感知的影响。研究结论:相位特征对音高感知有显著影响，且该影响与重构窗长密切相关。

目录

声明

摘要

缩略语简表

第一章 绪论

1．1 课题提出的背景和意义

1．2 人工耳蜗在声调识别和音乐感知方面的发展现状和存在的问题

1．2．1 人工耳蜗在声调识别方面的发展现状

1．2．2 人工耳蜗在音乐旋律识别方面的发展现状

1．2．3 人工耳蜗声调和音调识别方面存在的问置

1．4 本文研究的主要的内容

第二章 声信号听觉感知机理与信号产生模型

2．1 声信号的听觉感知机理分析

2．2 声信号的产生模型

2．3 声信号的傅里叶分析

2．3．1 声信号的加窗分析

2．3．2 短时傅里叶分析

2．4 本章小结

第三章 声信号的实验原理及实验准备

3．1 实验原理

3．1．1 相位变化重构实验原理

3．1．2 嵌合实验原理

3．2 实验测听方法

3．3 测试用原材料及测试人员

3．4 本章小结

第四章 相位对声调感知实验探究

4．1 语音声调的声学特征

4．2 相位变化重构实验

4．2．1 常用窗长的相位变化重构实验

4．2．2 变换窗长零相位重构实验

4．3 嵌合实验

4．4 本章小结

第五章 相位对音乐信号的感知探究

5．1 音乐信号的基本特征

5．2 零相位实验研究

5．2．1 常用窗长零相位重构实验

5．2．2 变窗长零相位实验

5．3 本章小结

第六章 总结和展望

参考文献

致谢

攻读硕士研究生期间学术成果