基于中潜伏期听觉诱发电位的听觉注意特征提取、识别系统及方法

摘要

本发明公开了一种基于中潜伏期听觉诱发电位的听觉注意特征提取、识别系统及方法，包括设备控制模块、数据存储器、刺激声发生装置、数据采集装置和数据处理分析模块，所述刺激声发生装置、数据采集装置和数据处理分析模块分别与设备控制模块相连接，所述数据存储装置与设备控制模块、数据采集装置以及数据处理分析模块连接。本发明可以诱发出有效的事件相关电位，再计算其能量、方差、面积、AR模型系数及波形峰值作为特征值。最后，通过模式识别算法进行分类。实验结果：8位受试者以人工神经网络(ANN)为分类器的平均正确率可达到77.2％。本设计的实验方案，方便简洁有效。

说明书

技术领域

本发明涉及听觉诱发电位对于听觉认知领域，特别涉及一种基于中潜伏期听觉诱发电位的听觉注意特征提取、识别系统及方法。

背景技术

视力障碍为患者的日常生活带来了极大困扰，往往视力受限的患者，其听觉系统是完好的。通过评估听觉认知能力可为临床疾病诊断和认知科学研究提供重要依据。但是基于听觉脑机系统(Brain-computer interface,BCI)研究的时间还不是很长，而基于视觉BCI系统研究的时间较长，较为成熟，其范式对听觉BCI系统也有很大的借鉴意义。然而很多视力受损的闭锁综合症患者，无法使用基于视觉范式的脑-机接口系统，因此研究这一技术是非常必要的，可为听觉正常的闭锁综合症患者提供了一种新的与外界交流的渠道。

听觉诱发电位属于是由听觉神经系统的刺激引起的中枢神经系统的生物电反应。其声诱发电位振幅很小，大多小于1uv，只有自发脑电的1％、反应是在受刺激后经一定潜伏期出现、呈现特定的波形、反应是在一瞬间出现(自发脑电是长时间周期出现)、有相应的电位分布区，其分布位置与面积取决于有关组织的结构特征。

听觉诱发出事件相关电位，事件相关电位(Event-Related Potentials,ERP)是一种能反映外界刺激作用于感觉系统或者脑部器官的诱发电位。当外界刺激为声音时，所诱发的电位称为听觉事件相关电位。听觉事件相关电位可按延迟时间分类，其中，N0、P0、Na、Pa和Nb属于中潜伏期诱发电位(Middle Latency Response，MLR)。

目前听觉脑-机接口技术的实验范式主要有四种：听觉P300、稳态听觉诱发电位、选择注意以及空间定位。听觉脑-机接口是基于听觉事件相关电位P300的范式。事件相关电位是受试者对具有信息意义的刺激信号认知加工时从头皮记录到的脑诱发电位，其主要成分P300，是位于刺激后300ms处的正向波，人们普遍认为P300与人脑的信息加工及处理有关，是测定人脑认知加工功能或心理活动的客观指标。而稳态听觉诱发电位是同稳态视觉诱发电位类似的原理，听觉诱发电位在刺激间隔较长时，大脑活动在下一个刺激到来是可以恢复。选择注意的范式是基于与人的听觉感知相关的听觉响应的特点来设计的，而基于空间定位的听觉范式本质上也是基于听觉选择性注意的，但是由于他们更依赖于听觉刺激的方向性，所以单独归为一类。

然而传统的听觉实验范式技术存在一系列缺点：

1.诱发时间较长，比如P300的实验范式诱发时间需要300ms左右。

2.基于以上四种实验范式，系统比较复杂。在声音刺激刺激声音方面，主要有两种:声音序列(sequential)和声音流(streaming)。且当声音刺激为声音流时，被试不是注意目标刺激，而是选择两种声音流中的一种，无论是目标刺激还是非目标刺激，被试者都需要选择。声音序列是单一的声音流，被试需要区分目标刺激和非目标刺激，因此存在一个缺点就是被试需要等待目标刺激的到来。

3.以上的四种实验范式使用较多的电极片，对采集信号非常不方便。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于中潜伏期听觉诱发电位的听觉注意特征提取、识别系统及方法，实现中潜伏期听觉诱发电位的提取和分类，为临床疾病诊断和认知科学研究提供重要依据。

为了达到上述目的，本发明采用以下技术方案：

本发明基于中潜伏期听觉诱发电位的听觉注意特征提取、识别系统，包括设备控制模块、数据存储器、刺激声发生装置、数据采集装置和数据处理分析模块，所述刺激声发生装置、数据采集装置和数据处理分析模块分别与设备控制模块相连接，所述数据存储装置与设备控制模块、数据采集装置以及数据处理分析模块连接；

所述设备控制，用于控制操作设备以及面板VEMP监视器；

数据存储器，用于存储采集到的以及处理后的数据；

所述刺激声发生装置，用于输出短纯音；

所述数据采集装置，用于采集诱发电位信号，并对采集到的诱发电位信号进行预处理和采样；

所述数据处理分析模块，用于分析和提取诱发电位信号，并向设备控制模块的数据存储器读取采样所得的数据，对采样数据进行分析处理，提取出听觉诱发电位的信息，拟合出被测试者的MLR波形，最后把处理结果送回设备控制模块。

作为优选的技术方案，所述设备控制模块包括ICS char EP200主机、操作设备以及面板VEMP监视器；其中，操作设备和面板VEMP监视器分别与ICS char EP200主机相连接，ICS char EP200主机用于控制调节刺激声发生装置、数据采集装置和数据处理分析模块的工作，并协同各模块之间的数据传输；操作设备用于给使用者提供操作平台；面板VEMP监视器用于显示操作参数、工作流程以及测试结果。

作为优选的技术方案，所述数据采集装置包括诱发电位采集电极、前置放大器、带通滤波器和A/D转换器，所述诱发电位采集电极、前置放大器、带通滤波器和A/D转换器顺序连接，所述诱发电位采集电极采集到连续的诱发电位信号后，由前置放大器将其功率放大，再通过带通滤波器将部分噪声过滤，最后用A/D转换器对该诱发电位信号进行采样，转换成数字信号输入到设备控制模块的数据存储器。

作为优选的技术方案，所述诱发电位采集电极包括：数据采集电极、左右参考电极以及接地电极，其中数据采集电极位于额头顶部的发际中心位置，左右参考电极分别位于左右耳乳突，接地电极位于眉心。

作为优选的技术方案，所述数据处理分析模块包括：

数据处理分析模块包括数据预处理模块、特征提取模块、以及模式识别模块，

所述数据预处理模块，利用小波分析对采集的数据进行滤波；

所述特征提取模块，用于对MLR波形、采用能量、方差、面积、AR模型系数及波形峰值进行特征提取；

所述模式识别模块，用于对以上提取的特征，使用支持向量机和人工神经网络进行分类。

作为优选的技术方案，所述刺激声发生装置包括两种状态：

状态一：空闲状态，受试者保持放松状态，此时不计算；

状态二：通过意念对刺激声进行计数的状态，其中受试者在计数时不能发出声音、触动嘴唇或者伸缩舌头。

本发明一种基于中潜伏期听觉诱发电位的听觉注意特征提取、识别方法，包括下述步骤：

S1、开启ICS CHARTR EP，进行初始设置，将刺激声设置为：短纯音，密集型；

S2、通过四个电极来获取受试着的数据，其中数据采集电极位于额头顶部的发际中心位置，左右参考电极分别位于左右耳乳突，接地电极位于眉心；

S3、空闲和计数两种状态随机出现，并由实验操作者口头告知受试者，完成实验数据的采集，其中空闲和计数两种状态采集相同的组数；

S4、对所采集的数据使用6层小波分解进行滤波，利用第三层到第六层细节分量系数重构原始信号，可实现9.375～150Hz带通滤波的效果，并能去除基线、自发脑电和高频噪声；

S5、采用阈值法，对波形走势明显异常，波峰和波谷总量小于3个，幅值过高的波形予以自动剔除，滤波和去伪迹后，分别对所有受试者的所有同状态数据做平均；

S6、对MLR波形，采用能量、方差、面积、AR模型系数及波形峰值作为特征值，其中AR模型系数采用Burg算法计算得到，阶数则由高阶谱分析工具箱HOSA的定阶函数ARORDER计算获取；

S7、由ARORDER函数计算得到的AR模型阶数为7，组合能量、面积、方差和峰值特征；

S8、采用基于K交叉验证的支持向量机和神经网络的分类算法对特征数据进行处理。

作为优选的技术方案，步骤S6中，MLR波形的峰值由下列公式获取：

记Na，Nb相对于基线的峰值分别为P_Na和P_Nb，则：

P_Na＝max{x(n)}n∈[n₁,n₂](1)

P_Nb＝max{x(n)}n∈[n₃,n₄](2)

记Pa相对于基线的峰值为L_Pa，则：

L_Pa＝min{x(n)}n∈[n₅,n₆]>

记Nb-Pa的峰峰值为F_Nb-Pa，则：

F_Nb-Pa＝P_Nb-L_Pa>

其中n₁、n₃和n₅分别代表Na、Nb和Pa潜伏期区间起始点，n₂、n₄和n₆分别代表Na、Nb和Pa潜伏期区间结束点。Na、Pa和Nb的潜伏期分别为16～30ms，30～45ms和40～60ms，实验依照各受试者的波形对潜伏期区间范围进行微调。

作为优选的技术方案，步骤S7中，组合能量、面积、方差和峰值特征之后得到13维特征，记为：

v₁＝[a₁,a₂,a₃,a₄,a₅,a₆,a₇,e,s,σ,P_Na,L_Pa,P_Nb](5)

其中a₁～a₇为AR模型系数，e为能量，s为面积，σ为方差，P_Na、L_Pa和P_Nb分别为Na、Pa和Nb的峰值，此外还加入了Nb和Pa的峰值F_Nb-Pa，最终得到特征向量v₂和v₃：

v₂＝[a₁,a₂,a₃,a₄,a₅,a₆,a₇,e,s,σ,P_Na,L_Pa,F_Nb-Pa](6)

v₃＝[a₁,a₂,a₃,a₄,a₅,a₆,a₇,e,s,σ,P_Na,P_Nb,F_Nb-P_a]。(7)

作为优选的技术方案，步骤S8中，

支持向量机选择高斯核函数，设定惩罚参数c和高斯核参数g的寻优范围为[2^-10,2¹⁰]，以K交叉验证运行100次中，使正确率达到最大值的c和g值为最终采用的值；

由于仅含一个隐层的神经网络就可以任意逼近一个非线性函数，采用2层神经网络，第一层有10个神经元，第二层有2个神经元，第一层的传递函数是逻辑函数，输出层的传递函数是线性函数，同样以K交叉验证运行100次中，使正确率达到最大值的网络为最后采用的网络，最后将基于K交叉验证的两种分类器算法迭代100次的平均识别率作为最终分类正确率。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明实验范式更简洁，使用的电极数量更少。

2、本发明诱发时间只需88s,诱发时间比传统的P300诱发时间要少。

3、传统的听觉诱发波形需要通过大量的数据进行加权平均，来获得稳定的波形，本发明能够通过随机的选取一定数量的波形进行平均，就能减少叠加的次数。

4、本发明实验结果对被测试对象的听力认知效果明显，为临床疾病诊断和认知科学研究提供了重要依据。

附图说明

图1是本发明装置的结构示意图；

图2是本发明电极分布示意图；

图3是本发明8位受试者的所有同状态数据做平均波形图；

图4是本发明数据处理流程示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例如图1所示，本实施例的基于中潜伏期听觉诱发电位的听觉注意特征提取、识别系统包括：设备控制模块1、数据存储器2、刺激声发生装置3、数据处理分析模块4和数据采集装置5，所述刺激声发生装置、数据采集装置和数据处理分析模块分别与设备控制模块相连接，所述数据存储装置与设备控制模块、数据采集装置以及数据处理分析模块连接。

本实施例的实验设计方案设计了两种思维状态，一种空闲状态(保持放松状态，不计数)，另一种则是通过意念对刺激声进行计数的状态，其中受试者在计数时不能发出声音、触动嘴唇或者伸缩舌头。两种状态随机出现，并由实验操作者口头告知受试者。实验设计方案如表1所示。一次实验共采集40组数据，空闲状态和计数状态各采集20组。采集一组数据所需88s,每组之间的间隔为5～10s之间的一个随机值。每采集完10组数据后，受试者休息5分钟。8位受试者均参与了5次实验。

表1实验设计方案

所述设备控制模块1包括了ICS char EP 200主机、操作设备以及面板VEMP监视器。其中，ICS char EP 200主机用于控制刺激声发生器3、数据采集装置5和数据处理分析模4块等外围设备的工作，以及各部分模块之间的数据传输。数据存储器2用于存储检测数据，可供ICS char EP 200主机和数据处理分析模块4进行读写数据。操作设备给使用者提供操作平台，面板VEMP监视器用于显示操作参数、工作流程以及检查结果。

如图1、图2所示，所述数据采集装置包括诱发电位采集电极、前置放大器、带通滤波器和A/D转换器，所述诱发电位采集电极、前置放大器、带通滤波器和A/D转换器顺序连接，所述诱发电位采集电极采集到连续的诱发电位信号后，由前置放大器将其功率放大，再通过带通滤波器将部分噪声过滤，最后用A/D转换器对该诱发电位信号进行采样，转换成数字信号输入到设备控制模块的数据存储器。所述诱发电位采集电极包括：数据采集电极、左右参考电极以及接地电极，其中数据采集电极位于额头顶部的发际中心位置，左右参考电极分别位于左右耳乳突，接地电极位于眉心。

所述的刺激声发生器与ICS char EP 200主机以及和耳机依次相连，并且可以产生1000Hz的短纯音。

所述的数据处理模块，首先进行初始化参数设置，然后再进行诱发电位采集、数据预处理、特征提取、分类算法分类，最后结果分析。

本实施例的总体设计流程如下：

(1)找8名(8耳，都是左耳)受试者进行了MLR实验，其中男生5名，女生3名，平均年龄24岁，均为广州大学在校研究生。受试者都为右利手,无听觉系统、神经系统疾病及精神障碍病史，而且都没有参加过相关的实验。首先向受试者介绍实验目的和相关注意事项，然后他们签署了《知情同意书》。整个实验在静音的电磁屏蔽间内进行，且进行实验时将屏蔽室的灯光关闭，受试者安静地平躺于床上，头部垫枕，患者闭上双眼，保持放松。

(2)实验仪器为丹麦尔听美公司的ICS Chartr EP200诱发电位仪。采集数据设置如下。刺激声：短纯音，密集型。声音频率1KHz,声音强度70dBnHL，通道为同侧,由头戴式TelephonicsTDH-49P型耳机给声，左耳给刺激声。声音的重复率为1.1次/s，带通滤波为10～100Hz，扫描时间为500ms，叠加次数为80次。本设备用4个电极来获取数据，其中数据采集电极位于额头顶部的发际中心位置，左右参考电极分别位于左右耳乳突，接地电极位于眉心，电极分布如图2所示。所有电极的阻抗匹配低于5kΩ。

(3)对采集的数据进行数据预处理。

(4)然后算其能量、方差、面积、AR模型系数及波形峰值作为特征值。

(5)使用支持向量机和人工神经网络分类算法进来分类。

基于上述总体的设计流程，如图4所示，为本发明数据采集和分析处理的流程图，其具体包括了以下步骤：

步骤1：打开ICS CHARTR EP，采集数据设置如下。刺激声：短纯音，密集型。声音频率1KHz,声音强度70dBnHL，通道为同侧,由头戴式TelephonicsTDH-49P型耳机给声，左耳给刺激声。声音的重复率为1.1次/s，带通滤波为10～100Hz，扫描时间为500ms，叠加次数为80次。

步骤2：受试者安静地平躺于床上，头部垫枕，患者闭上双眼，保持放松。使用四个电极来获取数据，其中数据采集电极位于额头顶部的发际中心位置，左右参考电极分别位于左右耳乳突，接地电极位于眉心，电极分布如图1所示。所有电极的阻抗匹配低于5kΩ。

步骤3：空闲和计数两种状态随机出现，并由实验操作者口头告知受试者。实验设计方案如表1所示。一次实验共采集40组数据，空闲状态和计数状态各采集20组。采集一组数据所需88s,每组之间的间隔为5～10s之间的一个随机值。每采集完10组数据后，受试者休息5分钟。8位受试者均参与了5次实验。

步骤4：对所采集的数据使用6层小波分解进行滤波，利用第三层到第六层细节分量系数重构原始信号，可实现9.375～150Hz带通滤波的效果，并能去除基线、自发脑电和高频噪声。

步骤5：滤波后的数据仍可能存在肌电和眼电干扰的迹象，因此本文采用阈值法，对波形走势明显异常，波峰和波谷总量小于3个，幅值过高的波形予以自动剔除(测试对象不同，此阈值也会随之变化)。滤波和去伪迹后，分别对8位受试者的所有同状态数据做平均，得到图3所示波形。

步骤6：对MLR波形，采用能量、方差、面积、AR模型系数及波形峰值作为特征值，其中AR模型系数采用Burg算法计算得到，阶数则由高阶谱分析工具箱HOSA的定阶函数ARORDER计算获取。MLR峰值由下列公式获取：

记Na，Nb相对于基线的峰值分别为P_Na和P_Nb，则：

P_Na＝max{x(n)}n∈[n₁,n₂](1)

P_Nb＝max{x(n)}n∈[n₃,n₄]>

记Pa相对于基线的峰值为L_Pa，则：

L_Pa＝min{x(n)}n∈[n₅,n₆](3)

记Nb-Pa的峰峰值为F_Nb-Pa，则：

F_Nb-Pa＝P_Nb-L_Pa(4)

其中n₁、n₃和n₅分别代表Na、Nb和Pa潜伏期区间起始点，n₂、n₄和n₆分别代表Na、Nb和Pa潜伏期区间结束点。Na、Pa和Nb的潜伏期分别为16～30ms，30～45ms和40～60ms。实验依照各受试者的波形对潜伏期区间范围进行微调。

步骤7：由ARORDER函数计算得到的AR模型阶数为7，组合能量、面积、方差和峰值特征，本文得到的特征共13维，记为

v₁＝[a₁,a₂,a₃,a₄,a₅,a₆,a₇,e,s,σ,P_Na,L_Pa,P_Nb](5)

其中a₁～a₇为AR模型系数，e为能量，s为面积，σ为方差，P_Na、L_Pa和P_Nb分别为Na、Pa和Nb的峰值。此外本文还加入了Nb和Pa的峰值F_Nb-Pa，最终得到特征向量v₂和v₃：

v₂＝[a₁,a₂,a₃,a₄,a₅,a₆,a₇,e,s,σ,P_Na,L_Pa,F_Nb-_Pa](6)

v₃＝[a₁,a₂,a₂,a₄,a₅,a₆,a₇,e,s,σ,P_Na,P_Nb,F_Nb-Pa]>

步骤8：采用了基于K交叉验证的支持向量机和神经网络^[17]的分类算法，实验中K取3。

支持向量机选择高斯核函数，设定惩罚参数c和高斯核参数g的寻优范围为[2^-10,2¹⁰]，以K交叉验证运行100次中，使正确率达到最大值的c和g值为最终采用的值。

由于仅含一个隐层的神经网络就可以任意逼近一个非线性函数，本实验采用2层神经网络，第一层有10个神经元，第二层有2个神经元。第一层的传递函数是逻辑函数(logsig)，输出层的传递函数是线性函数(linear)，同样以K交叉验证运行100次中，使正确率达到最大值的网络为最后采用的网络。最后将基于K交叉验证的两种分类器算法迭代100次的平均识别率作为最终分类正确率。

步骤9：每位受试者都进行了5次实验，有200次数据，其中注意状态100次，非注意状态100次。去伪迹后剩余160条左右数据，K交叉验证取K＝3，因此训练数据106条左右，测试数据54条左右，SVM和ANN分类结果分别见表2和表3。

表2所有受试者SVM分类结果比较

注：1、3、6号为女性

表3所有受试者ANN分类结果比较

注：1、3、6号为女性

步骤10：由表2可知，所有受试者的三类特征平均识别正确率相差不大，以v₃为特征的识别率为66.1±6.1％，略高于以v₂和v₁为特征的识别率，由此可见SVM对三种特征并不敏感。各受试者之间的识别率相差较大，最高为74.7±4.9％，最小仅57.3±5.9％。

由表3可知，以v₃为特征的平均识别率最高，可达77.2±2.8％，以v₁和v₂为特征的识别率也分别达到了75.5±2.7％和74.9±3.2％，由此可见所取特征有效且可分。对比表2和表3可以发现在本实验范式下，采用ANN分类器的识别率都高于SVM分类器的识别率。

总之，本文设计的实验范式简洁，技术可行，有望为视觉有障碍的患者提高生活质量，还可为健康人提供人机交互应用体验。虽然实验对象有限，但可以有效推广。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。