人工耳蜗植入儿童声调感知与发声及歌唱能力研究

摘要

第一部分，语前聋人工耳蜗植入儿童汉语普通话声调感知能力研究
　　目的：
　　了解以汉语普通话为母语的语前聋人工耳蜗植入儿童在普通话声调感知上存在的问题，以及探索影响其声调感知能力的潜在因素，为提高这些儿童的声调感知能力提供理论基础。
　　方法：
　　175名语前聋单侧植入人工耳蜗(Cochlear implant，CI)的儿童和154名年纪相仿的听力正常(Normal-hearing，NH)儿童参加了本项研究。依照声调平衡原则选取36个简易汉字作为测试词，将这些测试词编入以MATLAB为运行平台的测试程序中进行随机呈现。共设四个信噪比条件（安静、12dB、6dB、0dB），受试儿童依据自身情况选择其中的某几个或者全部条件进行声调识别能力测试。同时对其结果与自身因素（实际年龄、CI植入时年龄和CI使用时长）进行Pearson相关分析。
　　结果：
　　1.NH组儿童在安静环境下的声调识别平均正确率为97.78％，CI组儿童则为77.48％，CI组儿童在安静环境下的平均声调识别成绩显著低于NH组(P＜0.001)，且个体间差异极大，其识别成绩从机会水平到100％正确率均有分布。
　　2.在信噪比为12dB、6dB、0dB测试条件下，NH组和CI组儿童的平均声调识别成绩分别为[94.38％，74.22％]，[94.47％，67.43％]，[92.31％，59.17％]，两组间差异均有显著统计学意义(P＜0.001)。
　　3.信噪比、声调类别（及声调配对类型）和听力情况对声调识别成绩的影响均很显著(P＜0.001)，其中最显著的因素为听力情况（其F值为1048.81，远远大于其它两个因素）。且信噪比和听力情况，声调类别（及声调配对类型）与听力情况之间交互效应显著(P＜0.001)。
　　4.信噪比的影响。对于NH组，安静、6dB信噪比条件下声调识别成绩高于0dB信噪比条件，差异有统计学意义(P＜0.05)，而其余任意两个信噪比条件下的声调识别成绩无显著差异。对于CI组，任意两个信噪比条件下声调识别成绩均有显著差异，按照声调识别成绩从高到低的排列顺序为:安静＞12dB＞6dB＞0dB。
　　5.声调类别的影响。对于NH组，1声和4声的识别成绩高于2声和3声(P＜0.05)，而1声、4声之间，2声、3声之间的识别成绩无显著差异(P＞0.05)。对于CI组，除了1声识别成绩高于4声之外(P＜0.05)，其余声调类别识别成绩两两之间未见显著差异(P＞0.05)。
　　6.声调配对类型的影响。对于NH组，识别成绩1-4配对＞1-2配对＞2-3配对(P＜0.05)，其余配对彼此之间未见显著差异(P＞0.05)。对于CI组，识别成绩2-3配对最低，与1-2、1-3、1-4配对之间均有统计学差异(P＜0.05)，其余配对彼此之间未见显著差异(P＞0.05)。
　　7.声调识别错误类型分析。对于NH组，在任何一个信噪比条件下，2声和3声之间总是最易混淆，且其中最易出现的错误为将3声感知成2声。对于CI组，其错误类型受信噪比影响较大，各种类型错误概率均较大，总的来说，3声总是最易被感知成2声。
　　8.相关分析。对于CI植入儿童，安静条件下植入时年龄与声调识别成绩呈现负相关(r=-0.392，P＜0.001)，12dB信噪比条件下CI使用时长与声调识别成绩呈现正相关(r=0.258，P=0.047)。其余条件下的相关关系均不具有统计学意义(P＞0.05)。
　　结论
　　1.CI植入儿童的声调感知能力存在明显缺陷，且个体差异很大，其对声调的识别较正常听力儿童更易受到噪声环境的影响。
　　2.CI植入儿童对四个声调类型的感知能力差异不明显。无论对于CI植入儿童还是正常听力儿童，2声和3声为最难区分彼此的声调。
　　3.CI植入时年龄越小，CI使用时间越长，CI植入儿童对声调的感知能力越好。
　　第二部分，基于人工神经网络的语前聋人工耳蜗植入儿童汉语普通话声调发声能力研究
　　目的：
　　了解以汉语普通话为母语的语前聋人工耳蜗植入儿童在普通话声调发声上存在的问题，以及探索影响其声调发声能力的潜在因素，并为建立一种依靠计算机技术进行声调发声自动化判别的可靠而高效的测评工具提供数据支持。
　　方法
　　278名语前聋单侧植入人工耳蜗(Cochlear implant，CI)的儿童和173名年纪相仿的听力正常(Normal-hearing，NH)儿童参加了本项研究。发声测试词同前一部分选取的声调识别测试中所用的测试词，对受试儿童的声调发声样本以44.1KHz的采样频率，16-bits的分辨率进行录音。将每个测试音节单独剪切分离，在MATLAB平台上对每名受试儿童的每个发声音节进行基频提取并手动纠偏。在MATLAB平台上构建人工神经网络，并以随机抽取的一半正常儿童之发声样本基频数据对神经网络进行训练。利用训练后的神经网络对CI组儿童及另一半正常儿童的发声样本进行判读。将神经网络对CI植入儿童声调发声的判读结果与其自身因素（实际年龄、CI植入时年龄和CI使用时长）进行相关分析，同时将其声调发声准确率与前一部分的声调识别成绩进行相关分析。
　　结果：
　　1.NH组儿童的平均声调发声准确率为90.40％，CI组儿童则为58.76％，CI组儿童的平均声调发声准确率显著低于NH组(P＜0.001)，且个体间差异极大，其发声准确率从机会水平(25％)以下到100％均有分布。
　　2.声调类别和听力情况这两个因素对声调发声准确率均有显著影响(P＜0.001)。尤其是听力情况的影响尤为明显，其F值达到了为641.75，远远高于声调类别的F值66.41。听力情况与声调之间的交互效应也很显著(P＜0.001)。
　　3.声调类别的影响。对于NH组，1(4)声、2声、3声发声准确率两两之间具有统计学差异(P＜0.05)，其准确率按从高到低的顺序为:1(4)声＞2声＞3声。而1声和4声之间发声准确率未有显著差异(P＞0.05)。对于CI组，1、4声的发声准确率显著高于2、3声(P＜0.01)，而1声和4声，2声和3声之间发声准确率均未有显著差异(P＞0.05)。
　　4.声调发声错误类型分析。对于NH组，应发声调为2声时，被错判成3声的概率较非2声及3声外的其余两者要高;当应发声调为3声时，被错判成2声的概率较非3声及2声外的其余两者要高，当应发声调为1声和4声时，其错判率均较小。对于CI组，当应发1声时，被错判成其它三个声调的概率均相对较大。当应发声调为2、3、4声时，错判概率最大者均为1声。
　　5.声调发声声学分析。NH组四个声调的界别显示相对较为清楚，代表1、2、3、4声的椭圆分别位于坐标轴的右上、左上、左下、右下象限。而CI组代表四个声调的椭圆彼此重合，难以区分。用于计量两组差异的三个声学指标Aq/Ae、Ave_Dist/Ave_Ax1+2和Avep均显示出CI组测量值显著低于NH组(P＜0.001)。
　　6.相关分析。对于CI植入儿童，声调发声准确率与CI植入年龄呈负相关（r=-0.215，P=0.003），与CI使用时长呈正相关(r=0.203，P=0.005)，与测试时实际年龄无统计学相关性(r=0.015，P=0.837)。在任何一个信噪比条件下，CI植入儿童声调发声准确率与其声调识别成绩均呈正相关(P＜0.01)。
　　结论：
　　1.CI植入儿童的声调发声能力存在明显缺陷，且个体差异很大。
　　2.无论是CI植入儿童还是正常听力儿童，2、3声的发声相对1、4声更难掌握。
　　3.CI植入儿童四个声调发声的声学特征不明显，彼此重合，难以区分，且发声基频曲线单调平坦缺少变化。CI植入年龄小、CI使用时间长对其声调发声能力的提高有利，声调感知能力好的CI植入儿童，其声调发声准确度亦较高。
　　4.人工神经网络作为一种技术手段在声调自动化识别中具有应用价值。
　　第三部分，使用人工耳蜗及助听器的语前聋儿童歌唱能力的声学特征分析
　　目的：
　　对于语前聋儿童，耳聋阻碍了他们的听觉和言语发育。目前的听力设备（包括人工耳蜗和助听器）在言语发育方面给这些儿童提供了很大的帮助但在音乐感知方面存在明显的不足。本研究的目的旨在用声学测量指标评价使用这些听力设备的语前聋听障儿童的唱歌能力，以及探索这种能力与何种因素存在关联。
　　方法：
　　37名语前聋单侧植入人工耳蜗(Cochlear implant，CI)的儿童，31名语前聋双侧配戴助听器(Hearing-aid，HA)的儿童，以及37名年纪相仿的听力正常(Normal-hearing，NH)儿童参加了本项研究。每名儿童被要求唱一首自己熟悉的儿歌，由录音设备记录(采样率44.1KHz，分辨率16-bits)下后，每个音节被隔离开来并用自相关算法(Auto-correlationalgorithm)提取各自的基频(Fundamental frequency，FO)，同时记录下每个音节的时程。共使用五项指标来评价歌唱能力:1.音调方向正确率，2.音调压缩率，3.音调整体偏移度，4.内部音程偏移度，5.音节时程比偏移度。前四项指标对所唱歌曲音调作出评价，最后一项指标对所唱歌曲节律作出评价。同时对其声学测量结果与自身因素及本研究前两个部分的声调感知及发声之结果进行相关分析。
　　结果：
　　无论是植入人工耳蜗还是配戴助听器的语前聋儿童，他们各项评估指标的成绩均显著低于同年龄段的听力正常儿童(P＜0.05)。CI组儿童和HA组儿童五项指标中四项未见统计学差异，只有指标四（歌曲内部音程偏移度）显示出HA组儿童成绩优于CI组儿童的统计结果(2.44±0.76 vs2.89±0.82， P＜0.05)。对于这两组听障儿童，听力设备使用时间的长短与其歌唱曲调的准确程度呈显著正相关。对于CI植入儿童，其对音程的发声准确度与其声调识别能力相关。
　　结论：
　　对于大多数植入人工耳蜗或是配戴助听器的语前聋儿童，其歌唱能力无论是音调的准确性还是对节律的把握度均存在明显缺陷。CI植入儿童的音程发声准确度与其声调识别能力相关。虽然随着听力设备使用时间的延长和使用经验的增加，一定程度上可以提高语前聋儿童的歌唱能力，但却很难达到正常听力儿童的水平。

目录

声明

论文说明

摘要

前言

第一部分 语前聋人工耳蜗植入儿童汉语普通话声调感知能力研究

1．1 引言

1．2 研究方法

1．3 结果

1．4 讨论

1．5 小结

第二部分 基于神经网络的语前聋人工耳蜗植入儿童声调发声能力研究

2．1 引言

2．2．研究方法

2．3 结果

2．4 讨论

2．5 小结

第三部分 使用人工耳蜗及助听器的语前聋儿童基于音调与节律的歌唱能力之声学特征

3．1 引言

3．2 研究方法

3．3 结果

3．4 讨论

3．5 小结

参考文献

综述一 人工耳蜗技术与音乐转换研究现状

综述二 Music and cochlear implants

攻读学位期间发表论文和获奖情况

致谢