一种基于跨模态随机共振的视听觉诱发脑机接口方法

摘要

本发明公开了一种基于跨模态随机共振的视听觉诱发脑机接口方法，其中，形成视觉刺激，形成左耳/右耳听觉噪声刺激，使用者注视n个视觉刺激单元中的任意一个，并在视觉刺激单元出现时向使用者左耳/右耳输入预定强度的听觉噪声刺激，直至视觉刺激单元停止振荡运动，此时使用者注视的视觉刺激单元称为目标，而其他视觉刺激单元称为非目标；使用相关分析算法计算脑电信号与n个振荡运动频率的相关系数，将其中相关系数最大的振荡运动频率对应的视觉刺激单元判定为使用者注视的目标。

说明书

技术领域

本发明属于生物医学工程中神经工程及脑机接口技术领域，特别 是一种基于跨模态随机共振的视听觉诱发脑机接口方法。

背景技术

在全世界范围内，有成千上万的人受到各种神经或肌肉疾病的困 扰，如肌萎缩性脊髓侧索硬化症、脑中风、脊髓受损以及脑瘫等。这 些疾病导致患者无法通过大脑神经控制自身肌肉与外界进行正常交 流，从而对其生活造成严重影响。脑机接口技术的出现为改善这些患 者的生活带来了转机。

脑机接口是人脑-计算机接口的简称，其目的是让大脑绕过对外 周神经及肌肉组织的依赖，实现大脑与外部设备的直接通讯。视觉诱 发电位是非侵入式脑机接口常用的诱发电位之一，该电位是视觉皮层 受到特定类型的视觉刺激时产生的模式化响应，其中稳态运动视觉诱 发电位由于其频率单一、能量集中以及无需训练使用者等优点而得到 了广泛应用。但视觉诱发型脑机接口始终依托单一视觉诱发方式，导 致其诱发响应区域仅仅局限于视觉脑区。此外，单模态刺激会使大脑 产生适应性，从而使得大脑响应强度随着刺激时间的增加逐渐减弱， 影响脑机接口的性能。

在背景技术部分中公开的上述信息仅仅用于增强对本发明背景 的理解，因此可能包含不构成在本国中本领域普通技术人员公知的现 有技术的信息。

发明内容

为了克服上述单模态脑机接口中的缺点，本发明的目的在于提供 一种基于跨模态随机共振的视听觉诱发脑机接口方法，提出听觉噪声 整合下的跨视听模态脑机接口，在施加视觉刺激的同时加入听觉噪 声，通过调整噪声强度，以期增强稳态运动视觉诱发电位响应，实现 脑机接口性能的提升。

本发明的目的是通过以下技术方案予以实现，一种基于跨模态随 机共振的视听觉诱发脑机接口方法包括以下步骤：

步骤1，在使用者头部听觉颞区与视觉枕区安放测量电极，在其 单侧耳垂位置处安放参考电极，在其头部前额位置处安放地电极，电 极测得的脑电信号经放大和模数转换后送往计算机，

步骤2，形成视觉刺激：将n(n≥2)个视觉刺激单元通过计算 机屏幕同时呈现给使用者，视觉刺激呈现过程中，视觉刺激单元按正 弦或余弦调制方式进行收缩和扩张，形成两个方向上的周期往复振荡 运动；n个视觉刺激单元分别位于屏幕的不同位置，并以不同的运动 频率进行周期往复振荡运动，

步骤3，形成左耳/右耳听觉噪声刺激：采用高斯白噪声生成听 觉刺激音频。在保证不引起使用者听觉不适的前提下，确定听觉噪声 的最大强度；然后在保证使用者可以感知的前提下，确定听觉噪声的 最小强度。从最小噪声强度开始到最大噪声强度结束等间隔获得m个 噪声强度进行试验，以探索不同听觉噪声强度对大脑视觉响应的影 响。同时设置一组无噪声组作为对照组，不同的噪声强度组以及对照 组按随机顺序排列，并依此顺序进行试验，

步骤4，形成n个视觉刺激单元以及左耳/右耳听觉噪声刺激后， 按以下具体步骤进行：

步骤4-1，使用者注视n个视觉刺激单元中的任意一个，并在视 觉刺激单元出现时向使用者左耳/右耳输入预定强度的听觉噪声刺 激，直至视觉刺激单元停止振荡运动，此时使用者注视的视觉刺激单 元称为目标，而其他视觉刺激单元称为非目标，

步骤4-2，计算机同步采集刺激起始标志位与结束标志位，并通 过测量电极采集脑电信号，使用相关分析算法计算脑电信号与n个周 期往复振荡运动的频率的相关系数，可选地，相关分析算法包括典型 相关分析算法(canonical correlation analysis)。

步骤4-3，根据所述n个周期往复振荡运动的频率对应的相关系 数，将其中相关系数最大的周期往复振荡运动的频率对应的视觉刺激 单元判定为使用者注视的目标，

步骤5，所述使用者注视目标的识别结果通过计算机屏幕进行显 示，实现对使用者的视觉反馈；

步骤6，计算机完成目标识别后，返回步骤4，重复步骤4和步 骤5，进行下一次目标识别任务。

所述的方法中，所述视觉刺激单元由以圆心为中心的辐射线划分 为大小相等的扇形，并与明暗相间的同心环相交形成棋盘格形式，其 中明暗区域面积相等，n个视觉刺激单元对应n个振荡运动频率，每 个视觉刺激单元的振荡运动频率高于6Hz。

所述的方法中，步骤2中，使用者眼睛距离计算机屏幕50至100 厘米。

所述的方法中，步骤4-2中，对所述脑电信号作滤波和陷波处理； 获得所述脑电信号中依照刺激起始标志位和结束标志位进行截断的 数据段；将所述数据段送入相关分析算法中，将所述脑电信号分别与 利用n个振荡运动频率制作的正弦/余弦函数模板进行相关性计算， 得到所述脑电信号与n个振荡运动频率的相关系数。

所述的方法中，步骤4-2中，对脑电信号作48Hz-52Hz陷波处 理，消除50Hz的市电干扰，并对脑电信号作3Hz-30Hz带通滤波 处理；其次，获得脑电信号中依照刺激起始标志位和结束标志位进行 截断的数据段，并将其记为x＝(x

y

通过计算

有益效果

本发明解决了现有技术的大脑响应区域局限、长时间刺激容易产 生适应性缺陷等问题，跨模态随机共振现象表明噪声可以增强神经系 统对外界信息的感知。本发明的跨模态随机共振能从视觉和听觉两个 感知模态同时刺激大脑，在视觉刺激范式呈现的同时加入听觉噪声， 将听觉噪声能量转化为大脑视觉区的响应；同时探索了不同听觉噪声 强度对视觉响应的影响规律，并在此基础上选择合适的听觉噪声强 度，为构建高性能跨模态视听觉诱发脑机接口开辟了新的思路，和传 统的脑机接口方式相比，采用听觉噪声刺激实现了使用者大脑视觉响 应的增强；实现了跨模态随机共振下脑机接口精度和效率的同步提 升，保障了脑机接口应用过程中信息的高效传输，使得脑机交互过程 更加友好，因此，本发明能够显著增强使用者大脑响应的强度，提升 现有脑机接口的精度和效率。

上述说明仅是本发明技术方案的概述，为了能够使得本发明的技 术手段更加清楚明白，达到本领域技术人员可依照说明书的内容予以 实施的程度，并且为了能够让本发明的上述和其它目的、特征和优点 能够更明显易懂，下面以本发明的具体实施方式进行举例说明。

附图说明

通过阅读下文优选的具体实施方式中的详细描述，本发明各种其 他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附 图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。 显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领 域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这 些附图获得其他的附图。而且在整个附图中，用相同的附图标记表示 相同的部件；

在附图中：

图1为脑电电极位置图；

图2为本发明视听觉脑机接口实施例示意图；

图3为棋盘格视觉刺激单元布置示意图；

图4为本发明单次使用过程示意图；

图5为本发明使用流程图；

图6为跨模态随机共振下大脑响应的幅值谱图，

图7为本发明中听觉噪声对脑电信号识别正确率的影响规律图。

以下结合附图和实施例对本发明作进一步的解释。

具体实施方式

下面将参照附图1至图7更详细地描述本发明的具体实施例。虽 然附图中显示了本发明的具体实施例，然而应当理解，可以以各种形 式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实 施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整 的传达给本领域的技术人员。

需要说明的是，在说明书及权利要求当中使用了某些词汇来指称 特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词 来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区 分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在 通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放 式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本 发明的较佳实施方式，然而所述描述乃以说明书的一般原则为目的， 并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所 界定者为准。

为便于对本发明实施例的理解，下面将结合附图以具体实施例为 例做进一步的解释说明，且各个附图并不构成对本发明实施例的限 定。

基于跨模态随机共振的视听觉诱发脑机接口方法包括，

一种基于跨模态随机共振的视听觉诱发脑机接口方法，包含以下 步骤：

步骤1，参照图1，在使用者头部两侧听觉颞区TP7，P7，T7，TP8， P8，T8位置以及P5，P6位置安放测量电极，在头部视觉枕区POz，PO3， PO4，PO7，PO8，Oz，O1，O2位置安放测量电极，在单侧耳垂位置A1 或A2处安放参考电极，在头部前额位置Fpz处安放地电极，电极测得的脑电信号经放大和模数转换后送往计算机；

步骤2，参照图2和图3，形成视觉刺激：将4个棋盘格视觉刺 激单元通过计算机屏幕同时呈现给使用者，使用者眼睛距离计算机屏 幕50至100厘米。视觉刺激单元由以圆心为中心的辐射线划分为大 小相等的扇形，并与明暗相间的同心环相交形成棋盘格形式，其中明 暗区域面积相等；在视觉刺激呈现过程中，棋盘格视觉刺激单元按正 弦或余弦调制方式进行收缩和扩张，形成两个方向上的周期往复振荡 运动；4个棋盘格视觉刺激单元分别位于屏幕的不同位置，并以不同 的运动频率进行周期往复振荡运动，即4个棋盘格视觉刺激单元对应 4个振荡运动频率，每个棋盘格视觉刺激单元的振荡运动频率高于6 Hz；

步骤3，形成左耳/右耳听觉噪声刺激：采用高斯白噪声生成听 觉刺激音频。在保证不引起使用者听觉不适的前提下，确定听觉噪声 的最大强度为30dBW；然后在保证使用者可以感知的前提下，确定 听觉噪声的最小强度为-30dBW。从最小噪声强度开始到最大噪声强 度结束，等间隔获得4个噪声强度进行试验，以探索不同听觉噪声强 度对大脑视觉响应的影响。同时设置一组无噪声组作为对照组。不同 的噪声强度组以及对照组按随机顺序排列，并依此顺序进行试验；

步骤4，形成4个棋盘格视觉刺激单元以及左耳/右耳听觉噪声 刺激后，按以下具体步骤进行：

步骤4-1，使用者注视4个棋盘格视觉刺激单元中的任意一个， 并在视觉刺激单元出现时向使用者左耳/右耳输入特定强度的听觉噪 声刺激，直至视觉刺激单元停止振荡运动。此时使用者注视的棋盘格 视觉刺激单元称为目标，而其他棋盘格视觉刺激单元称为非目标；

步骤4-2，计算机同步采集刺激开始与结束标志位，并通过测量 电极采集脑电信号，使用典型相关分析算法计算脑电信号与4个振荡 运动频率的相关系数，具体包含以下操作：首先，对脑电信号作48 Hz-52Hz陷波处理，消除50Hz市电干扰，并对脑电信号作3Hz-30 Hz带通滤波处理，消除基线漂移及其他噪声干扰；其次，获得脑电 信号中依照刺激起始标志位和结束标志位进行截断的数据段，并将其 记为x＝(x

y

通过计算

得到脑电信号与4个振荡运动频率的相关系数，其中W

步骤4-3，根据计算得到的4个振荡运动频率对应的相关系数 ρ

步骤5，使用者注视目标的识别结果通过计算机屏幕进行显示， 实现对使用者的视觉反馈；

步骤6，计算机完成目标识别后，返回步骤4，重复步骤4和步 骤5，进行下一次目标识别任务。

在本发明的跨模态随机共振的视听觉诱发脑机接口方法中，一种 感觉模态中的噪声能够增强其它感觉模态刺激诱发的响应。神经系统 中的噪声能够引发大脑非线性动力学系统的高可变性，从而增强大脑 神经元发放同步性。因而，通过在稳态运动视觉诱发脑机接口中引入 听觉噪声刺激，可以激发大脑跨模态随机共振效应，增强大脑响应强 度，降低大脑适应性，从而提高脑机接口的应用性能。

下面再结合实施例对本发明进行说明。

采用本技术对四名使用者(S1-S4)进行了实验，实验过程中要 求使用者尽量避免产生眨眼、体动等动作，保证脑电信号的数据质量。 按照上述步骤1对使用者安放电极，按照上述步骤2将4个棋盘格视 觉刺激单元按左、右、上、下的位置同时呈现于计算机屏幕上，其振 荡运动频率分别为7Hz，9Hz，11Hz，13Hz，使用者眼睛距离计 算机屏幕为70厘米；按照上述步骤3至步骤5识别使用者注视的目 标，每名使用者对每个棋盘格视觉刺激单元均进行5组实验，分别对 应无噪声、听觉噪声强度为-30dBW、听觉噪声强度为-10dBW、听觉 噪声强度为10dBW和听觉噪声强度为30dBW。每组实验包含20次 实验，两次实验之间的间隔时间为2秒，单次实验时长为5秒。

对使用者施加视觉刺激的同时施加听觉噪声刺激后，不同听觉噪 声强度下稳态视觉诱发电位的幅值谱图参照图6。其中图形中的星号 ‘*’表示对应项幅值显著高于无噪声情况下的幅值。图6表明，在 视觉刺激频率分别为7Hz、9Hz、13Hz以及平均结果下，适量的听 觉噪声刺激均显著增强了稳态视觉诱发电位的幅值。因此，可以通过 添加听觉噪声的方式，激发大脑跨模态随机共振，增强微弱的稳态视 觉诱发电位信号的可检测性，从而提升基于稳态视觉诱发电位的脑机 接口的性能。

图7为在将脑电信号按0.25秒长度截断并叠加平均后，运用典 型相关分析算法得到的识别正确率图。图7表明，随着听觉噪声强度 的增加，四名使用者的目标识别正确率以及平均正确率均呈现“倒U 形”规律，即随着听觉噪声强度的增加，脑机接口正确率先逐渐上升， 然后再逐渐下降。因此，对于某个特定使用者，可以找到最优的听觉 噪声强度来改善脑机接口的性能。由此可以看出相比于传统脑机接 口，本发明提出的一种基于跨模态随机共振的视听觉诱发脑机接口方 法实现了使用者大脑视觉响应的增强，保障了脑机接口应用过程中信 息的高效传输，使得脑机交互过程更加友好。

尽管结合以上附图对本发明的实施方案进行了描述，但本发明并 不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅 是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在 本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况 下，还可以做出很多种的形式，这些均属于本发明保护之列。