听觉中枢对汉语高低频谐波成分的时变音高差异化响应模式研究

摘要

音高感知对于感知音乐，在多人交谈中分辨说话人，以及理解语音均有非常重要的意义。音高在汉语中的四种声调是随时间变化的，具有表意的作用，准确的感知时变音高对于正常交流和社会生活均非常重要。音乐和语音中的音高感知主要来自谐波，而这些谐波依据能否被耳蜗基底膜滤波器分开可分为低频可分解谐波和高频不可分解谐波，它们的共同作用使得正常听力的听者能很好地感知音乐及声调语言。听觉损失的人群和老年人对声调感知有障碍，这主要是由于耳蜗听觉滤波器变宽，对频率选择性变差，不能依赖低频可分解谐波进行音高感知。人工耳蜗携带者的声调感知能力较差的其中一个原因是，当前技术的局限性使得最多只可植入24通道电极，且电极处于耳蜗拓扑结构的中高频位置，使用者缺失了对低频谐波的感知，严重影响他们对音乐旋律及汉语声调感知，人们一直尝试在技术上有新的突破。该现象暗示低频可分解谐波对音高感知极其重要，虽然心理物理学研究表明低频可分解的谐波成分对于声调（时变音高）感知起着决定性的作用，且对噪声环境具有鲁棒性，但还缺少神经电生理证据。为了让人工耳蜗携带者、听力下降的老年人获得更好的音高信息，需要认识听觉神经系统对低频可分解谐波的响应模式，以通过类似神经系统编码的方式改进音高感知。因此，研究听觉中枢对汉语高低频谐波成分的时变音高的差异化响应模式对听觉功能康复有重要的临床应用价值。　　心理物理学的认知是听觉神经系统编码语音信号的行为表征。声音信号到达外耳，内耳将机械信号转换为听神经的电信号，听神经编码的信息经由听觉上行通路传至听皮层，从而感知听觉。神经电生理研究结果表明听神经通过时间发放编码方式对谐波进行编码，且对可分解谐波和不可分解谐波的编码存在差异性。对于可分解的谐波，听神经的时间发放可锁相到单个谐波（时域精细结构）；而对于不可分解谐波，听神经的时间发放仅可锁相到时域包络。听神经编码的可分解谐波对应的音高信息相对于不可分解谐波更具有鲁棒性。听觉脑干主要接收来自听觉外周听神经的信息传入，对信息进行周期性表达和处理，编码音高感知的时间信息可能转换成其他形式编码；听皮层对由听觉脑干传入的信息进行整合处理，形成音高感知。对于听觉中枢通路中的听觉脑干和听皮层是否对语音的可分解谐波和不可分解谐波的时变音高感知有差异性的响应尚不清楚。本文旨在探索听觉中枢如何表征语音的可分解谐波和不可分解谐波的时变音高，其具体工作如下：　　① 测试噪声对语音的可分解谐波和不可分解谐波的声调识别正确率的影响。将具有时变音高的汉语单音节字分别通过低通滤波和高通滤波，生成语音的可分解谐波和不可分解谐波；使用语谱噪声对语音的可分解谐波和不可分解谐波进行相同程度的掩蔽。使用自适应法测量受试者对声调识别，结果表明语音的可分解谐波对噪声的容忍性显著高于语音的不可分解谐波。　　②评估听觉脑干对语音的可分解谐波和不可分解谐波的时变音高的响应。通过记录听觉诱发的频率跟随响应（frequency-following response, FFR）并分析包络跟随响应（envelope-following response,FFRENV）的时域特征和频域特征来表征听觉脑干对基频（fundamental frequency, F0）的响应强度；分析时域精细结构跟随响应（spectral-following response，FFRTFS）来表征听觉脑干对精细结构的响应强度。结果表明语音的可分解谐波刺激诱发的 FFRENV在 F0处的强度不受噪声影响，而语音的不可分解谐波刺激诱发的 FFRENV在 F0处的强度在噪声环境下显著低于安静环境下。结果表明语音的可分解谐波诱发的FFRTFS在谐波处强度较高，表明听觉脑干神经元群能锁相到单个谐波（时域精细结构）；但不可分解谐波诱发的FFRTFS在谐波处强度与背景噪声相同。综合 FFRENV和 FFRTFS结果，对于语音的可分解谐波，听觉脑干神经元群可锁相于刺激语音的包络信息和单个谐波，但对于语音的不可分解谐波，听觉脑干神经元群仅可锁相到刺激语音的包络信息；结果表明了听觉脑干神经元群编码语音的可分解谐波的音高信息更不易受噪声影响。　　③探索豚鼠下丘（inferior colliculus, IC）神经元对单音节字的四种声调的响应。通过分析场电位（local field potential,LFP）和单神经元峰电位（spike）的时频特性，结果表明92%的LFP表征的F0曲线能很精确地与声音的四种F0曲线匹配，且误差较小；47% 的单神经元 spike的时间发放也能显著地同步于声音的 F0和倍频。IC的LFP和单神经元表征的周期性强度与可分解谐波和不可分解谐波之间无显著差异，说明IC神经元发放表征的包络周期性强度不能表征心理物理学的音高感知强度。　　④ 评估听皮层对语音的可分解谐波和不可分解谐波的时变音高的响应。记录分析皮层音高响应（Cortical pitch response,CPR）的时域特征（峰潜伏期和幅度）发现，与语音的不可分解谐波相比，语音的可分解谐波诱发的CPR峰潜伏期更短，峰幅度更高。分析CPR的频域特征（phase-locking value,PLV）发现，语音的可分解谐波诱发的PLV更高。CPR的时域和频域特征表明语音的可分解谐波诱发的皮层下（sub-cortical）神经元核团的时间发放同步性较高，皮层神经元整合时间窗变短，提取的音高信息更快更强。结果表明CPR的特征可反映听觉神经系统编码音高的机制，为使用CPR作为客观预测感知音高强度的神经电活动提供了实验依据。　　综上所述，本文通过记录电生理信号探索了听觉中枢通路（听觉脑干，IC 和听皮层）对语音的可分解谐波和不可分解谐波的时变音高的差异化响应，从神经电活动的层面进一步揭示了语音的可分解谐波成分较不可分解谐波在语音的时变音高感知中占有更为重要的地位，且语音的可分解谐波对应的音高信息不易受噪声影响。本文的实验结果为使用电生理信号客观评价高低频语音的时变音高感知能力提供了新的实验方法和依据。

目录

1 绪 论

1.1 研究背景

1.2 听觉中枢表征音高感知的研究进展

1.2.1听觉脑干响应表征音高感知

1.2.2听皮层神经响应表征音高感知

1.3 当前研究中存在的问题

1.4 本文研究目的和内容

1.5 论文的章节安排

2 听觉神经系统表征音高感知的基础概述

2.1 复杂声的音高感知概述

2.2 心理生理学测试方法

2.3.1听觉外周表征音高

2.3.2听觉中枢系统表征音高

2.4.1时域特征分析

2.4.2频域特征分析

2.4.3时频分析

2.5 听觉研究常用的声信号

①纯音

②语音

③噪声

2.6 本章小结

3 噪声对汉语高低频谐波成分的时变音高感知的影响

3.1 引言

3.2 自适应声调识别任务

3.2.1实验对象

3.2.2语音刺激

3.2.3实验过程

3.2.4实验结果及分析

3.3 安静环境和噪声环境下的声调识别

3.3.1实验对象

3.3.2语音刺激

3.3.3实验过程

3.3.4实验结果及分析

3.4 讨论

①低频可分解谐波的噪声容忍度显著高于高频不可分解谐波

②噪声环境下可分解谐波的声调识别率显著低于不可分解谐波

3.5 本章小结

4 听觉脑干对语音高低频谐波成分的时变音高的响应

4.1 引言

4.2.1实验对象

4.2.2语音刺激

4.2.3电生理信号记录

4.2.4数据分析

4.2.5统计检验

4.3 结果

4.3.1单个受试者响应

4.3.2总体平均响应

4.3.3时域自相关

4.3.4频域PLV

4.4 讨论

4.5 本章小结

5 豚鼠IC神经元对语音的时变音高的响应

5.1 引言

5.2.1实验对象

5.2.2麻醉及手术

5.2.3声音刺激

5.2.4神经元信号记录及采集

5.2.5数据分析

5.3 结果

5.3.1LFPs表征语音的时变音高

5.3.2单神经元spike发放表征语音的时变音高

5.3.3神经元群的发放率表征语音时域包络

5.3.4神经元群的发放率表征语音的时频信息

5.4 讨论

5.5 本章小结

6 听皮层对语音的高低频谐波成分的时变音高的响应

6.1 引言

6.2 方法

6.2.1受试者

6.2.2语音刺激

6.2.3脑电记录及CPR分析

6.2.4统计分析

6.3 结果

6.3.1总体平均响应

6.3.2起始响应

6.3.3 CPR的时域和频域特征

6.4 讨论

6.5 本章小结

7 总结与展望

7.1 本论文取得的研究成果

7.2 本论文的主要创新点

7.3 不足及展望

参考文献

附录

A.作者在攻读学位期间发表的论文目录

B.作者在攻读学位期间参加的会议

C.作者在攻读学位期间参与的科研项目

D.学位论文数据集

致谢