法律状态公告日
法律状态信息
法律状态
2020-02-14
专利权的转移 IPC(主分类):A61F2/18 登记生效日:20200120 变更前: 变更后: 申请日:20160127
专利申请权、专利权的转移
2017-11-14
授权
授权
2016-06-22
实质审查的生效 IPC(主分类):A61F2/18 申请日:20160127
实质审查的生效
2016-05-25
公开
公开
技术领域
本发明涉及人工耳蜗领域，具体涉及增强音乐旋律感知耳蜗电极主辅布置、装置、系统及方法。
背景技术
听力补偿或重建主要包括助听器选配和人工耳蜗植入。对双侧重度或极重度感音神经性听力障碍患者，在使用助听器3至6个月无明显效果时，可考虑人工耳蜗植入手术重建听力。
人工耳蜗植入装置是一种模拟人的耳蜗功能的转换器。它将声音信号通过言语处理器转变成电信号，传入内耳的频率感应位置电极，以微弱的刺激方式(如电、光、热或机械压力等)直接兴奋听神经，从而产生听觉。人工耳蜗装置主要分两大部分：植入部分(包括接收装置和多导电极)和外接部分(包括声音采集器、言语处理器、发射器等)。
根据听觉感知原理，听觉是由外耳收集传导声波、中耳放大声波振动信号，进而在内耳(即耳蜗)由特定频率对应关系的若干听觉末端听细胞(又称毛细胞)组织在时间、频率及强度上转换成对应听神经的兴奋信号，经听神经发放、传导，在脑干听区整合，形成听觉感知。人工耳蜗装置正是该原理的成功应用，目前该装置较好地解决了重建部分听觉能力，如人类语音感知，而对于欣赏和感知美妙音乐信息，还存在若干问题，有待改进。
研究发现，音乐信号的时、频分布特性与语音信号存在较大差异，如图1a-图1b所示。对语音信号来说，发音词响亮部分的区别特征主要表现为频域包络峰值分布上，即谱包络的共振峰中心频率位置、数量及强度，通常共振峰数量较少，主要的不超过5个，但各个共振峰中心频率位置不确定，每个共振峰带宽较宽(相比音乐的谐波谱峰带宽)，且其中包含音调信息；话音中不响亮的清音部分，也主要以较宽的频谱能量集中区展现，如图1a“语音”所示；在时域上，人说话时声带振动与否、以及快慢，表现为对应的音调频率有无、以及高低，相比音乐来说，变化范围较小，一般不超过500Hz，但连续变化，每段有区别意义的发音片段时长没有规律。总体来说，语音信号主要特征频率在对接末端听神经上，对频率分辨率要求较低，主要表现在共振峰分布位置，用多少个频率分割带表达语音段的主要声音特征是解决话音感知的关键问题。目前的人工耳蜗电极数量一般不超过22个，尽管各厂家产品的电极阵列分布在频率值对应关系上略有不同，但大致都是依据临界带或频率掩蔽关系划分的，用这样的电极分布传递话音中浊音共振峰和清音信息，其分辨率基本够用，但若传递音乐声信息时，由于音乐信号频谱结构与话音频谱的不同，很多音乐音符的基波频率无法准确通过听神经传导，参见表1给出某种人工耳蜗产品的22个电极对应频带覆盖与音符基波频率覆盖(或跨越)大致对应关系，所以目前的人工耳蜗植入者很难欣赏音乐信息，对音乐感知不佳。
表1某人工耳蜗产品电极分布及与音符基波频率大致对应关系
对音乐声音来说，其声音来自某种乐器。凡具有旋律表现的乐器，其声音高低由音符决定，这里不包括无旋律表现的打击乐器。不同乐器演奏的同一音符，其信号频谱分布是由基本相同的基波和不同幅度分布的其它次谐波联合构成，整个频谱包络比较平坦、频域跨度比语音更宽，通常没有语音信号谱包络那样明显的多个共振峰变化，但音乐信号谐波数量较多，依据音符由低到高，其谐波次数可达几十次到几次不等，每个谐波峰带宽较窄，波峰间隔很有规律，基本按基波频率整倍频分布，如图1b音乐信号谱图所示。其中音符的基波谱峰最重要，不可错位或缺失，否则，重建音乐信号听感知走调；而音符对应的第2、3、4、5、…等若干高次谐波峰，若缺失个别谐波，不会影响音符旋律感知，不会走调，但当缺失较多高次谐波，音质会有明显变化；音乐旋律的音符从低到高，基波频率变化范围很大，从几十赫兹～几千赫兹，如表2.1中的音符频率表所示。另外，在时域上，每个音符的长短，即音程，按节拍是有规律的变化，可通过信号时间编码加以控制。因此，对于人工耳蜗植入者来说，音乐声音的感知，与听神经对接的电极分布密度有直接关系。
目前，人工耳蜗对音乐的感知存在两方面的问题：
1、对音源信号进行外部采集、转换后应与耳蜗电极相对应的频带相匹配，而该技术目前存在的问题是外部转换的乐音信号通过信号分析滤波处理后，各频带分量在传递到耳蜗电极时，由于目前的电极分布位置无法对准耳蜗感知音乐的频区，使音乐频率信息错位或丢失地传递，是导致植入者对音乐感知失调或无法感知的主要原因。
2、在单侧耳蜗中通过增加足够的电极数方式实现对音乐的感知，虽然在理论上可以实现(目前已有相关专利公开)，但是，限于目前的技术限制，单侧耳蜗分布过多的电极将导致工艺上难以实现。
发明内容
为解决现有技术存在的不足，本发明公开增强音乐旋律感知的耳蜗电极布置、系统及方法，本发明参照音乐音符基波分布特点，通过适当增加电极数提高耳蜗内的频率感应密度，采用双侧耳蜗分布方法，对确保工艺实现和改进单、双耳对音乐信息的感知均有效果。
为实现上述目的，本发明的具体方案如下：
增强音乐旋律感知的耳蜗电极主辅布置，在每侧耳蜗基底膜附近，按照音乐音符的特征频率对应关系，将蜗顶到蜗底对应的感音全频带分隔成响应特定音符的频率区域；在每个频率区域中放置一个该频带信号的电极，即每个电极置于音乐音符所在的特征频带内，利用双耳双声道的特点，将电极分成两组，对双侧耳采用主辅法电极分布，两侧耳蜗各植入相应的一组电极，双侧耳蜗中分别植入不同数量的电极，其中一侧耳布置的一组电极为主侧，另一侧耳布置的一组电极为辅侧，在设定的频率段，按指定频率间隔交错分组布局电极阵列。其中，每个电极与不同音符的基波频率点大致对应，电极为传导电极或刺激电极。
进一步的，两侧耳蜗中分别植入不同数量的电极时，一侧对应耳蜗除低频区之外的主要频率感应区分布“主电极组”，共38个，另一侧对应耳蜗主要频率感应区分布“辅电极组”，共27个。
其中一侧耳蜗，分布的主电极组布局是：
第一个电极与B8音符的基波频率相对应；第三十八个电极与G3音符的基波频率相对应，第一个电极与三十八个电极之间的电极按照音符频率对应关系以设定方式布置；
另一侧耳蜗中植入辅电极组，布局是：
第一个电极与A#/Bb8音符的基波频率相对应；第二十七个电极与G#/Ab3音符的基波频率相对应，第一个电极与二十七个电极之间的电极按照音符频率对应关系以设定方式布置。
进一步的，在低频区，选取相应的代表频点布置相应的电极，分别植入两侧耳蜗，两侧分布相同3个电极。
进一步的，在低频区，3个电极分别是：第四十一个电极与A1音符的基波频率相对应，第四十个电极与E2音符的基波频率相对应，第三十九个电极与C3音符的基波频率相对应；第三十个电极与A1音符的基波频率相对应，第二十九个电极与E2音符的基波频率相对应，第二十八个电极与C3音符的基波频率相对应。
增强音乐旋律感知的耳蜗电极主辅布置方法，包括以下步骤：
将电极分成两组，双侧耳蜗中分别植入相应的一组电极，每个电极置于音乐音符所在的对应特征频带内，电极主要集中布置在100Hz-8000Hz主要频率感应区，在低频率区域，选取相应的代表频点布置电极；
在主辅法中，电极分成数量不等的两组时，每侧耳蜗中电极按照音符基波特征频率以设定方式布置。
增强音乐旋律感知的耳蜗电极阵列装置，包括多个电极，每个电极包括多个环状电极触点，环状电极触点均通过带绝缘层的金属丝与电极回路相连，所述电极还包括包裹所有电极回路的柔性包层，所述电极按照上述电极布置方法布置成阵列。所述电极阵列装置，除采用上述导电材料以外，也可能采用传导光或热或压力的特殊材料结构对应上述电极布置方法。
为了更好地实施本发明的上述电极布置方式，本发明还公开了增强音乐旋律感知的人工耳蜗系统，包括植入部分和外接部分，植入部分和外接部分可采用无线通信连接方式或有线连接方式，其中植入部分至少包括电极阵列装置，外接部分至少包括声音处理器及与处理器相连的声音采集装置，声音信号由声音采集装置获取，由处理器完成音乐信号主旋律的音符、音程的分析和编码，处理器根据乐器品种产生对应的MIDI音乐编码，通过相应的处理算法处理，转换成各侧耳蜗电极刺激编码信号，经无线通信或专用有线接口驱动，送达刺激部位。
进一步的，对于无线通信连接方式，电极阵列装置与接收装置作为人工耳蜗的植入部分，发射器、处理器及声音采集装置作为人工耳蜗的外接部分。
进一步的，对于有线连接方式，电极阵列装置作为人工耳蜗的植入部分，有线接口装置、信号驱动装置、处理器及声音采集装置作为外接部分，经声音采集装置采集的信号传输至处理器，处理器对得到的信号，经分解、量化产生相应的信号发送至信号驱动装置，信号驱动装置将驱动产生的各路信号传输至有线接口装置，在有线接口装置处，各路信号与植入电极各路信号对接，以产生相应的刺激信号。
进一步的，植入部分与外接部分无线通信方式可以为蓝牙通信方式、红外通信方式、或RF射频通信方式，有线连接方式采用用柔性材料包裹的连接结构；连接结构可为光连接结构、热连接结构或机械连接结构。
增强音乐旋律感知的人工耳蜗系统的工作方法，包括以下步骤：
经声音采集装置采集的信号传输至处理器，由处理器完成音乐信号主旋律的音符、音程的分析和编码，其中处理器可根据乐器品种产生对应的MIDI音乐编码，通过与模式对应的处理算法处理；
处理器根据电极工作模式，确定各音符有效工作电极位置，确定每侧阵列及各个电极编码序列；
处理器通过与模式对应的处理算法处理，转换成各侧耳蜗电极刺激编码信号，经无线通信或专用有线接口驱动，送达刺激部位。
本发明的有益效果：
本发明给出双侧耳蜗植入电极布置方法，按音符特征频率半音高划分，对应乐音和话音最常用频率段(约100Hz-8000Hz)，按指定频率交错(即主辅法)分组在双耳布局电极阵列，对空间尺寸不易分布过多频点的低端频率区，只选取代表频点，布于主侧或双侧电极阵列中，来重建和增强音乐及语音感知；本发明因为电极布置在双侧耳蜗，比单侧耳蜗分布如此多电极容易实现，而且这种电极分布方法既可单侧配用、也可双侧同时配用，利用了双耳感音的叠加效应，使植入者能更好地感知音乐。
优化后的电极分布，由于考虑了乐音频点占位的分布，每侧耳蜗都提高了电极密度，可增强音乐感知，同时该方法覆盖原有语音电极频点，即使配用任意一侧电极工作，通过外连声音处理器工作模式和声音编码策略的选择、切换，可保证该方法产生的语音感知不低于目前的电极分布方法获得的语音感知。所以说，本发明对增强人工耳蜗感知更丰富的音乐声音效果具有实际意义。
附图说明
图1a语音信号的时、频分布特性；
图1b音乐信号的时、频分布特性；
图2a无线传输方式单侧或双侧人工耳蜗系统结构框图；
图2b有线连接方式单侧或双侧人工耳蜗系统结构框图；
图3各侧电极系统信号处理流程框图；
图4每侧电极阵列构造示意图；
图5双侧耳叠加乐音模拟合成信号波形；
图6实施例子中一段音乐旋律对应的波形图。
具体实施方式：
下面结合附图对本发明进行详细说明：
作为具有分析或感应频率成分功能的耳蜗，其基底膜上的毛细胞(即听细胞)与末端听神经相连，在耳蜗中的拓扑位置与频率成分有对应关系。若希望大脑听区准确重建音乐的感知，使人工耳蜗植入者能感受音乐旋律的美妙，应增加电极数量与对应听神经对接。但限于过多数量电极很难在一侧耳蜗植入，本发明利用人耳有双侧耳蜗、且双耳有叠加感应效应，以主辅法选定频率值，在对应耳蜗内拓扑位置上分布刺激电极，以对接末端听神经。
表2.1为主辅法中音符频率对应示意表，其中，主侧中高频电极对应的音符频率为加粗部分；辅侧中高频电极对应的音符频率为斜体部分；低频部分共同的布置电极对应音符频率为加粗加下划线部分。
在主辅法中，主辅侧电极在具体布置时，电极与音符频率的具体关系见表3.1及表3.2。
表2.1“主辅法”音符频率对应表(主侧：黑；辅侧：斜体；低频共有：黑体+下划线)
表3.1主辅法主侧电极分布
表3.2主辅法辅侧电极分布
如图2a-图2b所示，本发明在实施时将电极用于人工耳蜗系统，包括植入部分及外接部分，植入部分包括按照上述方式布置的电极阵列装置，植入部分及外接部分无线通信时，电极阵列装置与接收装置相连，外接部分包括依次连接的发射器、处理器及声音采集装置。声音采集装置将采集的信号传输至处理器，处理器对信号进一步处理后传输至发射器，发射器将处理后的信号通过无线的方式发送至接收装置，接收装置根据接到的信号触发电极的动作，相应电极的动作从而使人耳能够听到相应的音乐信号。
植入部分及外接部分有线通信时，电极阵列装置为植入部分，外接部分包括依次连接的有线接口装置、信号驱动装置、处理器及声音采集装置。声音采集装置将采集的信号传输至处理器，处理器对信号进一步处理后传输至信号驱动装置，信号驱动装置将处理后的信号通过有线接口装置发送至电极阵列装置，电极阵列装置根据接收到的信号触发电极的动作，相应电极的动作从而使人耳能够听到相应的音乐信号。
其中，耳外的处理器可通过对音乐信号的解析，转换为音乐的MIDI编码数据，此格式的数据可驱动对应各路电极的刺激信号。显然，更密集分布的电极方法，不仅可以准确对应音乐音符各频点，使人工耳蜗植入者可以准确获取音符和谐波信息，而且对语音特征频率的传递，可以根据“就近映射”原则，从更密集的电极中确定工作电极，对应采用言语处理编码策略，因此该电极布置方法和系统兼顾了语音信息的传递，不会影响语音感知。但是，若采用原有较少的电极对音乐音符采用映射传递，即便体外声音处理器准确解析出音乐音符信息，体内耳蜗电极也无法准确对应频点对接听神经，传递给大脑，音乐感知依然是缺失的。这也说明了，为什么目前的人工耳蜗无法较好地感知音乐。
实验研究还发现，人耳有双侧耳感音叠加特性，该特性不仅有利于分辨声源，提高声源定向能力，还可整合脑干区音效，即可增加声音的响度和叠加音乐旋律及谐波信息。
在人工耳蜗系统中各侧电极的信号处理流程如图3所示：
步骤一：确定音乐各音符、音程(类似MIDI编码信息)；
步骤二：确定各音符的基频及谐波频率；
步骤三：确定音乐音色，调节相关系数；
步骤四：根据电极工作模式，包括主辅双侧模式及主辅单侧模式、音乐模式/语音模式等，确定各音符有效工作电极位置，其中依据多种原则或策略处理，如临界带、音符不分侧、同侧就近对应及适当舍弃等。
步骤五：确定每侧工作电极位及各个电极信号编码序列；
步骤六：驱动或转换电极编码、生成刺激脉冲信号。
在实施例子中，对于音乐旋律多声道叠加感知效果，我们做了专门的仿真分析，假设人工耳蜗最佳恢复效果可达正常人耳双耳感知，故采用正常人耳作仿真。如图5所示，上、下两波形分别为左、右声道耳蜗所听到的声音信号时域波形，其上部左声道波形，为左耳电极合成仿真音，其中包括对应音符的基波和主要谐波的合成音信号；其下部为右声道波形，为右耳电极合成仿真音，其中包括对应音符的基波和主要谐波的合成音信号。由此左右声道交替传递合成、在大脑听区听到的音乐，其曲段的旋律感知是完整的、准确的。
实验结果证明，双声道技术可以传递音乐信号更多的子带特征，能更准确、方便地传递基波和关键谐波成分，变相地增加了人工耳蜗的电极数目。
音乐音符的音调主要由基波频率决定，而音符的音色则根据频谱特性决定，即根据基波与谐波比值及谐波多少来决定。本专利的电极布置方案就是首先把所有音乐音符表达所需要的基波频率位置分布好，并分为两组分侧布置，以减少单侧电极数目，降低布置难度，然后对要表达的某个音符的基波和谐波频率根据某种原则映射到一侧电极阵列上，从而确保同一音符在一侧电极工作，不同音符可在不同侧电极阵列表达，以实现整个音乐曲段采用双侧交替合成音效的旋律处理策略。在实际对应转换、表达中，少数谐波中心频率可能会“就近落到”另一侧电极位上，对于这种情况，可以采取“同侧就近”或“适当舍弃”原则加以处理。
为了更好的说明本发明的电极布置方式所达到的效果，本发明给出了另一实施例子：
基于上述双声道耳蜗电极布置方法，人工耳蜗音乐声音处理器根据电极工作模式和编码策略，按图3信号处理流程产生对应电极刺激信号，其中音符越低，在音乐感知频带范围内其谐波个数越多，对应刺激电极数应越多，音符越高，其谐波数越少，有效刺激电极数就越少。在确定每个音符工作电极时，依据临界带原则，确定各有效工作电极，即基波和有效谐波准确或近似对应的同一侧耳蜗的各个电极，其中可能舍弃个别谐波，如近似到另一侧电极的谐波。该分析和处理工作由外接声音处理器来完成。
由于不同乐器品种，其谐波成分的幅度相互比值关系有所不同，通常需根据乐器品种做适当参数调整。
以一段简单旋律来说明电极的工作情况：
选取一段音乐旋律，由三音符构成，依次是A3、G3、C4，假设各音符音程相等，信号波形如图6所示。
首先确定音符的基波，然后根据图3处理流程及编码策略(即临界带限制、同一音符的谐波在同侧确定工作电极、舍弃不同侧谐波对应电极等)处理，分配好该音符基波和各谐波的备选电极，如表4.1所示，以刺激听神经系统，保证同一音符的音乐信号不分侧对接听神经刺激，不破坏每个音符感知整体性。这样，每个音符在一侧确定各工作电极，不同的音符，可能在同侧或不在同侧交替工作，完整的音乐旋律是由双侧耳蜗电极阵列刺激听神经的叠加效果获得音乐感知。
若在主辅双侧电极模式下工作，该旋律段A3、G3、C4，由于基频同在主侧分布，则三个音符依次在主侧耳蜗电极上工作，具体工作情况如表4.1。
表4.1第1(A3)、2(G3)、3(C4)音符在主辅法双侧模式下工作电极(依次在主侧)
另外，随着技术的发展，当耳蜗电极布局不受实现工艺局限时，表2.1中所有频点均布局在单侧耳蜗中是最理想设计，当所有电极均布置在单耳中时，上述人工耳蜗装置及相应的优化系统依然适用。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
机译： 用于增强音乐旋律感知的耳蜗电极布置，装置，系统和方法
机译： 耳蜗电极排列，装置，系统和方法，用于提高音乐旋律感
机译： 耳蜗电极排列，装置，系统和方法，以提高旋律感
