一种提高人工耳蜗音高感知能力的方法及系统

摘要

本发明适用于医疗器械领域，提供了一种提高人工耳蜗音高感知能力的方法及系统，其方法包括基频(F0)处理过程和响度调整过程，其中基频(F0)处理过程为：首先对采集到的声音信号进行实时基频(F0)提取，再将所提取的基频(F0)带入预先生成的“F0-声级映射函数S(F0)”计算得到S(F0)函数值，将S(F0)函数值代入公式进一步计算得到增益函数值；响度调整过程为利用得到的增益函数值与待调整信号相乘，从而实现对时域声信号的响度调整。本发明能够在植入者音高感知能力较差时，通过对基频(F0)进行处理并用于响度调整过程，进而提高人工耳蜗植入者在音乐旋律、语音语调、汉语声调等方面的音高感知能力。

说明书

技术领域

本发明属于医疗器械领域，尤其涉及一种提高人工耳蜗音高感知能力的方 法及系统。

背景技术

现代人工耳蜗(Cochlear Implant,CI)采用电流直接刺激听神经的方式来帮 助重度以上听力损失者恢复部分听力，其基本原理是弥补这些听力损失者耳蜗 中内毛细胞缺失导致的声电转换功能丧失。现代CI系统中采用的信号处理策略 的基本框架是连续间隔采样策略(Continuous Interleaved Sampling Strategy,CIS)。 在CIS策略中，首先将传声器采集到的信号进行分频带滤波，然后提取每个带 通滤波器输出信号的时域包络，再将时域包络进行非线性压缩，之后用压缩过 的时域包络对电脉冲串进行幅度调制，最后将调制结果(以电流形式)送到不 同的电极位置上,其中不同电极上的电脉冲不同时发生(即采用间隔刺激模式)。 现代CI中的通道数目(即植入耳蜗内的电极阵列上的电极数目)为12-24个， 可见电极数远少于正常耳蜗中的内毛细胞数量(约3500个)。然而由于语音信 号中的冗余度很大，安静环境下的语音理解对于频域信息的精细程度要求不高， 有研究表明三个通道以上的时域包络就已经可以提供安静环境下的语意理解。

音高(或音调)是所有声音的重要感觉因素之一。音高感知能力直接影响 着声调识别、语调判断、音乐欣赏、听觉场景分析、听觉客体识别等诸多方面 的声音感知能力。音高主要与声音中的周期性有关。在纯音中周期性主要表现 为信号的频率，频率越高对应的音高越高。在复合音中，周期性主要表现为信 号的基频(F0)和谐波成分。其中F0通常表现了声源发生源头部位物体的振动 周期，而谐波成分的相对大小表现出了声源对原始振动信号的加工情况。在正 常听力外周听觉神经中的对有谐波成分的复合音的音高感知机理包括：(1)低 频可分辨谐波成分在基底膜上的不同位置引起响应；(3)上至约5kHz的信号有 可能被听神经利用相位锁定来检测到；(2)多个高频不可分辨谐波成分构成的 时域周期性被听神经检测到，而这种时域周期性往往能够反映出基频信息，典 型的例子是“基频缺失”现象。目前的CI系统已经可以使得安静环境下的语音 交流接近正常听力者的水平。但是由于CI系统中的频率分辨率低，且在时域上 仅保留了时域包络信息而丢弃了时域精细结构信息，所以CI产品并不能提供给 植入者准确的音高信息。近年来，在商用CI产品中，试图改善这一现状的技术 有虚拟通道、新的电脉冲波形、在低频通道加入时域精细结构信息等。这些方 法都是试图增加频域精细结构或时域精细结构。

由于音高感知主要取决于声音中的周期性信息，近十余年来，国内外多个 研究组提出了多种在现有的CI时域包络中增强周期性的策略。各自的研究报告 都发现CI声调或音乐音高感知得到了一定程度的增强。这种方法暂时还没有在 商用人工耳蜗中得到使用。这类方法适合于那些时域波动检测能力较强的植入 者。然而，对于那些时域波动检测能力较弱的植入者，这种做法的效果可能很 有限或者没有效果。并且，这种方法存在影响其他方面感知能力的可能。

针对这种现状，本发明提出一种基于响度调整的人工耳蜗音高感知方法。 近年来有研究发现，虽然音高感知主要取决于声音中的周期性，但是它也是与 响度、音色等其他主观感知量有关的。尤其是当周期性信息较为粗糙或被人为 破坏时，响度的变化可能引起音高感知的变化。例如，在CI植入者或声码器仿 真声中，有研究发现响度的变化趋势会影响音乐旋律、语音语调、汉语声调等 识别率的变化，然而，这些任务通常被认为是“音高”任务。现有的关于利用 响度调整来提高音高感知能力方面的技术皆存在三点明显的缺点，导致至今尚 未在CI系统中进行验证：第一，该方法不具有因果性；第二，该方法中采用了 线性加权方式进行包络调整，这导致包络调整的动态范围较小；第三，该方法 仅表现了单个音内的音高变化，而忽略了两个音之间的音高差别。

发明内容

本发明所要解决的技术问题在于提供一种提高人工耳蜗音高感知能力的方 法及系统，旨在通过调整声音的响度来提高人工耳蜗植入者在音乐旋律、语音 语调、汉语声调等方面的音高感知能力。

本发明是这样实现的，一种提高人工耳蜗音高感知能力的方法，包括下述 步骤:

基频(F0)处理步骤：实时提取采集到的有谐波成分的声音信号中的基频 (F0)，根据提取的基频(F0)生成增益函数G(F0)；

响度调整步骤：在对所采集的声音信号进行连续间隔采样过程之前或过程 之中，利用增益函数G(F0)对采集的时域声信号进行响度调整。

进一步地，所述增益函数为：

$G\left(F0\right)={10}^{\frac{S\left(F0\right)}{20}}$

其中,F0-声级映射函数S(F0)为预设的当前音高任务的最小基频值f_l、预 设的当前音高任务的最大基频值f_h、预设的声级调整的动态范围ΔSL的函数；

所述预设的声级调整的动态范围ΔSL需满足不等式：其 中，C、T分别为预设的待调整信号的心理物理最大舒适阈值和最小可听阈值。

进一步地，所述响度调整步骤具体为下述三个步骤中的一个：

步骤a，直接将采集到的声音信号与增益函数G(F0)相乘实现响度调整， 然后再进入连续间隔采样处理过程；

步骤b，在连续间隔采样过程中，每个时域通道的声音信号经滤波后并且 在包络提取之前，与各自时域通道相对应的增益函数相乘实现响度调整；

步骤c，在连续间隔采样过程中，每个时域通道的声音信号经包络提取后 并且在压缩之前，与各自时域通道相对应的增益函数相乘实现响度调整。

进一步地，在所述响度调整步骤中，若调整后的信号幅度大于上限值C， 则将对应信号的幅度设置为C。

本发明还提供了一种提高人工耳蜗音高感知能力的系统，包括：

基频(F0)处理模块，用于实时提取所采集到的有谐波成分的声音信号中 的基频(F0)，再利用提取的基频(F0)生成增益函数G(F0)；

响度调整模块，用于对所采集的声音信号进行连续间隔采样过程之前或过 程之中，利用所述的增益函数G(F0)对采集的时域声信号进行响度调整。

进一步地，所述响度调整模块中的增益函数为：

$G\left(F0\right)={10}^{\frac{S\left(F0\right)}{20}}$

其中,F0-声级映射函数S(F0)为预设的当前音高任务的最小基频值f_l、预 设的当前音高任务的最大基频值f_h、预设的声级调整的动态范围ΔSL的函数；

所述预设的声级调整的动态范围ΔSL需满足不等式：其 中，C、T分别为预设的待调整信号的心理物理最大舒适阈值和最小可听阈值。 进一步地，所述响度调整模块用于直接将采集到的声音信号与增益函数G(F0) 相乘实现响度调整，然后再进入连续间隔采样处理过程；

或所述响度调整模块用于在连续间隔采样过程中，每个时域通道的声音信 号经滤波后并且在包络提取之前，与各自时域通道相对应的增益函数相乘实现 响度调整；

或所述响度调整模块用于在连续间隔采样过程中，每个时域通道的声音信 号经包络提取后并且在压缩之前，与各自时域通道相对应的增益函数相乘实现 响度调整。

进一步地，所述响度调整模块在响度调整过程中，若调整后的信号幅度大 于上限值C，则将对应信号的幅度设置为C。

本发明与现有技术相比，有益效果在于：本发明能够在植入者音高感知能 力较差时，尤其是对那些时域波动检测能力较差的植入者，通过对基频(F0) 进行处理并用于响度调整过程，进而提高人工耳蜗植入者在音乐旋律、语音语 调、汉语声调等方面的音高感知能力。

附图说明

图1是本发明实施例提供的提高音高感知能力的人工耳蜗声音处理总流程 图；

图2是本发明实施例提供的基频(F0)处理流程图；

图3是本发明实施例提供的“F0-声级映射函数S(F0)”示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 仅用以解释本发明，并不用于限定本发明。

本发明提出的提高人工耳蜗音高感知能力的方法的总流程图见图1所示。 现代人工耳蜗系统由两部分组成，分别位于头皮外侧和内侧，其中位于外侧的 部分被总称为体外机(其中负责信号处理的电路部分是言语处理器)，位于内侧 的部分是植入体(包括射频接收和解码电路、刺激电流生成电路、电极阵列等)。 本发明中开发的方法适用于现有的植入体，且刺激模式与现有的植入体商用产 品兼容，故而在图1中未详细绘制植入体部分的信号处理流程。

在体外机中，实线箭头部分为商用连续间隔采样(CIS)策略的处理流程。 首先由传声器(即麦克风)采集声音信号，(通常要对采集到的信号进行一步预 加重操作，此图中省略)，然后对采集到的声音信号经N个带通滤波器构成的滤 波组进行滤波，再对N个带通滤波器输出的N个信号进行包络提取，最后对N 个包络进行非线性压缩。

本发明实施例提出了一种利用当前时刻的基频(F0)信息对当前时刻的响 度进行调整的方法，进而能够帮助人工耳蜗植入者提高音高感知能力。实施流 程为图1中点划线所示部分。(由上述可知响度调整过程是在人工耳蜗体外机的 言语处理器中采用连续间隔采样过程前或过程中的某个环节处进行的。)对传声 器采集到的信号的瞬时F0进行提取和加工后，用于调整CIS后续处理通路中某 个环节处的信号强度，进而实现对响度的调整，其中，对于信号的调整实际上 对应于声音能量的变化，而能量的变化直接影响的是响度的变化。另外按照被 调整的信号不同，响度调整步骤采取下列三个步骤中的一个(即图1中的步骤 a、b、c)。步骤a，直接对采集到的信号进行整体调整；步骤b，对带通滤波后 的每个带限信号分别进行相同或不同程度的调整；步骤c，对每个通道中的时 域包络进行相同或不同程度的调整，其中调整的方式和程度由预先设定的“F0- 声级映射函数S(F0)”来控制，这里的响度调整方法是本发明的主要发明内容。 不同于前人的线性加权的方式，本发明在“F0处理”模块计算得到了一个“F0- 声级映射函数S(F0)”，利用该函数与待调整信号直接进行相乘即可实现响度 调整的目的。其中，“F0处理”模块的流程图见图2所示。

在“F0处理”模块中主要包含两个步骤。第一步对当前时刻采集到的声音 信号的基频(F0)进行提取。基频(F0)是能够直接反映有谐波成分的声音的 音高的主要物理量。典型的有谐波成分的声音包括语音中的带音、大部分乐音 等。在基频(F0)提取过程中需要对当前时刻是否为有谐波成分的声音进行判 断，若“是”则提取当前时刻F0并且据此开展后续操作，若“否”则对当前时 刻的信号不进行响度调整。对于有谐波成分的声音的基频(F0)，第二步操作是 将提取的基频(F0)带入预先设定的“F0-声级映射函数S(F0)”进行计算。 其中“F0-声级映射函数S(F0)”的生成过程首先需要人为设定三组参数：每 个通道的映射函数形式，当前音高任务(这里的音高任务指音乐旋律识别率、 语音语调识别率、汉语声调识别率等任务)的基频值范围(最小值为f_l，最大 值为f_h，单位Hz)，以及当前待调整信号的声级或电流动态范围(最小值为T， 最大值为C，单位为dB A，其中C、T具体分别为预设的待调整信号的心理物理 最大舒适阈值和最小可听阈值)，然后设定声级调整的范围ΔSL，本发明所选择 的ΔSL满足不等式(1)。然后再根据所选择的映射函数形式结合这三个参数(f_l、 f_h、ΔSL)计算得到“F0-声级映射函数S(F0)”，用符号S(F0)表示。该函数的 实际物理意义是，在每个F0值条件下准备调整的声级量。图3中给出了两个 S(F0)的例子。针对语音和乐音由于其基频范围的不同，设定了不同的映射函数。 另外，其中虚线表示的映射函数的意义是，声级调整量与基频值之间为线性关 系。但是由于听觉系统对频率分辨能力随着频率升高而降低，并且对不同声级 的响度感知存在明显的非线性，故在实际操作中可能采用弧形映射函数，例如 图3中实现绘制的类似对数形状的函数。其中ΔSL的大小直接限制声级随着基 频变化的动态范围大小，ΔSL由人为预先设定，该值越大表示声级(或响度) 随基频的变化范围越大。为了避免调整后的信号过大或过小，所以本发明提出 不等式(1)，即建议ΔSL小于待调整信号的动态范围的一半。另外，上述“F0- 声级映射函数S(F0)”并不限于图3中所示的两种情况，还可以有无数种可能 的选择。

然后根据公式(2)计算得到待处理信号的增益函数G(F0)。

$\mathrm{\Delta SL}\le \frac{C-T}{2}\left(\mathrm{dB}\right)---\left(1\right)$

$G\left(F0\right)={10}^{\frac{S\left(F0\right)}{20}---\left(2\right)}$

然后，将增益函数值与当前的待调整信号直接相乘即可实现响度调整。在 调整完成后应检查输出信号，对于大于C值的信号幅度设置为C，这样操作避 免信号幅度过大让听者产生不适。对于步骤a，调整后的信号就直接进入标准 CIS处理流程，对于步骤b和c，针对不同的通道可以设计不同的S(F0)函数也 可以设计相同的S(F0)函数进行调整。

本发明实施例中生成的用于调整声级变化的G(F0)函数与F0之间是一一映 射函数，保证响度的变化仅与当前时刻输入信号的F0有关，而与输入信号的能 量或前一时刻的F0无关。这样在两个音之间存在音高差别时，本发明中的方法 就能够对这两个音做出不同的响度调整，从而让听者依据响度的变化来感受到 音高变化。

本发明能够在植入者音高感知能力较差时，尤其是对那些时域波动检测能 力较差的植入者，通过对基频(F0)进行处理并用于响度调整过程，进而提高 人工耳蜗植入者在音乐旋律、语音语调、汉语声调等方面的音高感知能力。与 现有技术相比，本发明的优势在于本发明具有因果性，即当前时刻的处理不依 赖未来的信息；本发明具有适当的响度动态范围调整方法，避免现有技术中仅 采用线性加权方式而导致响度可调整动态范围较小的问题；采用本发明的人工 耳蜗可以通过响度变化表现出两个音之间的音高差别；在采用本发明的人工耳 蜗中，针对不同的音高任务，可以设定不同的响度调整参数。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发 明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明 的保护范围之内。