视觉刺激系统、视觉刺激产生方法及BCI系统

摘要

本发明公开了一种视觉刺激系统、视觉刺激产生方法及BCI系统。视觉刺激系统包括第一显示屏系统和第二显示屏系统。第一显示屏系统包括第一显示屏和与其连接的第一控制主机，第一显示屏为以LCD为基础的透明显示器。第二显示屏系统包括第二显示屏和与其连接的第二控制主机。第二显示屏设置在第一显示屏的正后方与第一显示屏具有间距，第二显示屏于第一显示屏上的正投影完全落入第一显示屏内，第二显示屏射出的光的偏振角度与第一显示屏面对第二显示屏的一侧的光偏振角度一致。本发明通过采用可透视的透明显示器，将前后两个视觉刺激叠加在一起对受试者进行刺激，不仅拓展了视觉刺激的多样性，且不同的视觉刺激组合在一起还可以产生新的刺激种类。

说明书

技术领域

本发明涉及人机交互技术领域，具体涉及一种视觉刺激系统、视觉刺激产生方法及BCI系统。

背景技术

手机和电脑正在逐渐改变人们的生活习惯，对这两者的时间投入开始超过了传统的电视和书本。而且随着科技的发展，越来越多的衍生品例如ipad，kindle等不断涌现。在围绕手机和电脑发展的诸多技术中，操作类型或操作方式是最引人注目的一环。对于手机，从开始的按键控制过渡到笔触控制，最后进入了手指触控的时代。对于电脑，键盘和鼠标的组合一直为使用者提供方便的操作体验，后期出现的无线鼠标，红外控制技术也让电脑操作变得更加方便灵活。然而，传统的操作控制，无论是基于键盘或鼠标，还是基于手写或手势，都需要健全的手指才能实现，对于那些遭受运动功能障碍以至于双上肢残疾的患者，这些方法都无能为力。

为了实现不依赖于人手操作控制，人们发明了适合双上肢残疾的患者使用的设备，如，脑机接口(brain-computer interface，BCI)系统。

在过去的十几年中，脑机接口(BCI)的研究群体迅速壮大。第一次和第二次脑机接口国际研讨会分别于1999和2002召开。第一次会议有来自六个国家的22个研究组参加，第二次会议有来自北美、欧洲和中国的38个研究组参加。目前，世界上已经有很多家实验室实现了真正意义上的脑机接口。

在我国，清华大学程明、高上凯教授带领的团队设计了基于SSVEP(稳态视觉诱发电位，英文全称steady-status visual evoked potential，指当人受到某一特定频率视觉刺激时，大脑会反馈出与刺激频率相关的脑电信号)的环境控制系统，测试结果显示该系统能区分至少48个目标，并且已成功实现了对周围电子设备的控制。此外，他们还设计了基于SSVEP的电话拨号实验系统，解读用户的意图，并将用户的意图转换为外部命令。

作为一种新的、非肌肉的通信通道，BCI能够使人直接通过大脑来表达思想或操纵设备，而不需要借助语言或肢体动作。对于严重的运动残疾患者，BCI能够将他们的意图传送到外部装置，比如计算机、家用电器、护理设备以及神经假体等，从而改进他们的生活质量。但是，用于BCI的脑电信号离不开视觉刺激，目前的视觉刺激大多由单一的视觉刺激屏提供，视觉刺激种类少，且容易产生错误的指令。

因此，如何提供复合视觉刺激并检测生理信号反应，以扩大视觉刺激种类的范围就成了亟待解决的技术问题。

发明内容

为了至少部分地解决上述技术问题，本发明提供一种视觉刺激系统，包括第一显示屏系统以及第二显示屏系统。所述第一显示屏系统包括第一显示屏和与所述第一显示屏连接的第一控制主机，所述第一显示屏为以LCD为基础的透明显示器。所述第二显示屏系统包括第二显示屏和与所述第二显示屏连接的第二控制主机。其中，所述第二显示屏设置在所述第一显示屏的正后方与所述第一显示屏具有间距，所述第二显示屏于所述第一显示屏上的正投影完全落入所述第一显示屏内，所述第二显示屏射出的光的偏振角度与所述第一显示屏面对第二显示屏的一侧的光偏振角度一致。

优选地，所述第一显示屏具有显示区域和边框区域，所述第一显示屏系统还包括背光源，所述背光源设置在所述边框区域内，所述第二显示屏于所述第一显示屏上的正投影完全落入所述显示区域内。

根据本发明的另一方面，还提供一种视觉刺激产生方法，通过上述的视觉刺激系统提供视觉刺激，包括步骤：

将两个不同的视觉刺激文件分别通过所述第一显示屏和所述第二显示屏展示给受试者；

获得受试者对于两个不同视觉刺激的反馈；

在复合刺激模式与单刺激模式之间进行切换。

优选地，在复合刺激模式下，包括让两个不同视觉刺激在视觉上达到叠合效果步骤。

优选地，让两个不同视觉刺激在视觉上达到叠合效果步骤包括：

使两个不同视觉刺激的重叠性最大化；

使两个不同视觉刺激在位置上达到重叠效果；

使两个不同视觉刺激的亮度接近；

使两个不同视觉刺激的清晰程度足够；

使两个不同视觉刺激在转化时的速率接近。

优选地，使两个不同视觉刺激的重叠性最大化步骤中，需使所述第一显示屏和所述第二显示屏的光偏振角合适，以便所述第二显示屏射出的光的偏振角度与所述第一显示屏面对第二显示屏的一侧的光偏振角度一致。

优选地，使两个不同视觉刺激在位置上达到重叠效果步骤又包括：

调整所述第一显示屏与所述第二显示屏之间的前后距离；

调整所述第一显示屏与所述第二显示屏之间的上下左右的相对位置。

优选地，使两个不同视觉刺激的亮度接近步骤又包括：

所述第二显示屏利用电脑自带功能调整亮度；

所述第一显示屏通过背光源电压大小的调整来控制其亮度。

优选地，使两个不同视觉刺激的转化时的速率接近步骤中，使所述第一显示屏和所述第二显示屏的刷新率均不低于60Hz。

根据本发明的另一方面，还提供一种BCI系统，包括：

如上述的视觉刺激显示系统；以及

交互控制模块，所述交互控制模块包括脑电信号采集平台和实时处理系统；

其中，所述脑电信号采集平台用于实时采集所述第一显示屏或/及所述第二显示屏显示的视觉刺激信号，经过放大、滤波与模数转换后，通过数据线输入所述实时处理系统；所述实时处理系统用于对接收的视觉刺激信号进行实时处理，检测SSVEP信号的频率，并将其代表的命令传送到所述第二控制主机；所述第二控制主机用于根据命令的类型做相应的处理，并通过所述第二显示屏做相应的显示。

优选地，所述第一控制主机用于控制在所述第一显示屏上呈现虚拟按键组，所述虚拟按键组以不同的频率闪烁以产生不同频率的视觉刺激。

本发明提供的视觉刺激系统，通过采用可透视的透明显示器，将前后两个视觉刺激叠加在一起对受试者进行刺激，不仅拓展了视觉刺激的多样性，且不同的视觉刺激组合在一起还可以产生新的刺激种类。

在发明内容中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

以下结合附图，详细说明本发明的优点和特征。

附图说明

本发明的下列附图在此作为本发明的一部分用于理解本发明。附图中示出了本发明的实施方式及其描述，用来解释本发明的原理。在附图中，

图1为根据本发明一个实施例的视觉刺激系统的立体图；

图2为本发明一实施例提供的视觉刺激产生方法的概念性流程示意图；

图3为本发明一实施例提供的视觉刺激产生方法的解释性流程示意图；

图4为本发明一实施例提供的视觉刺激产生方法的具体流程示意图；

图5为本发明一实施例提供的视觉刺激产生方法的条件创造流程示意图；

图6为本发明一实施例提供的视觉刺激产生方法的技术细节流程示意图；

图7为本发明一实施例提供的BCI系统的结构示意图。

具体实施方式

在下文的描述中，提供了大量的细节以便能够彻底地理解本发明。然而，本领域技术人员可以了解，如下描述仅示例性地示出了本发明的优选实施例，本发明可以无需一个或多个这样的细节而得以实施。此外，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行详细描述。

根据本发明的一个方面，提供一种视觉刺激系统。图1示出了视觉刺激系统所包含的各个部件或部分。为了了解这些部件或者部分在视觉刺激系统的位置和所起的作用，首先对视觉刺激系统进行整体性描述，以便彻底地理解本发明。

本发明的视觉刺激系统主要利用透明屏将两个图像进行叠加，以便应用在视觉刺激实验中，基于图像叠加能在受试者面前产生复合视觉刺激并检测生理信号反应，这样可以扩大视觉刺激种类的范围。

在一个优选实施例中，视觉刺激系统100包括第一显示屏系统110以及第二显示屏系统120。第一显示屏系统110包括第一显示屏111和与第一显示屏111连接的第一控制主机120，第一显示屏111为以LCD为基础的透明显示器。第二显示屏系统120包括第二显示屏121和与第二显示屏121连接的第二控制主机122。其中，第二显示屏121设置在第一显示屏111的正后方与第一显示屏111具有间距，第二显示屏121于第一显示屏111上的正投影完全落入第一显示屏111内，第二显示屏121射出的光的偏振角度与第一显示屏111面对第二显示屏121的一侧的光偏振角度一致。第一显示屏系统110能将一个视觉刺激进行显示，第二显示屏系统120能将另一个视觉刺激进行显示，由于第二显示屏121设置在第一显示屏111的正后方，从而能让两个刺激在视觉上达到叠合效果。

在一个优选实施例中，第一显示屏111具有显示区域和边框区域，第一显示屏系统110还包括背光源，背光源设置在边框区域内，第二显示屏121于第一显示屏111上的正投影完全落入显示区域内。基于此，既可避免二维空间上位置不同导致的干扰，而且可以最大程度达到产生脑电反应时空间时间的一致性。

根据本发明的另一方面，还提供一种视觉刺激产生方法，通过上述的视觉刺激系统提供视觉刺激。图2展示出了本发明视觉刺激产生方法的流程示意图，如图2所示，本实施例的视觉刺激产生方法如下所述。

101、将两个不同的视觉刺激文件分别通过第一显示屏和第二显示屏展示给受试者，即，对受试者同时施加两个视觉刺激。

具体的，在本实施例中将SSVEP视觉刺激和普通刺激同时施加给受试者，具体刺激与呈现的屏幕可以随意变换；采集受试者的行为学响应和其他生理信号；记录观看复合视觉刺激人的反映行为以及采集相关生理信号数据。

102、获得用户对于两个不同视觉刺激信号的反馈。

可理解的是，本实施例中研究的是普通视觉刺激和特殊辅助刺激下受试者的反应，这样可以观察复合刺激下的行为学反馈和生理信号，扩大相关研究的范围。

103、复合刺激模式与单刺激模式之间进行切换。

简单来说就是利用单片透明屏幕(即，第一显示屏111，以下也叫透明显示屏)移动方便的特性，在复合刺激模式下将透明显示屏放置在第二显示屏121(以下也叫普通显示屏)之前，若要切换到单刺激模式，只需将透明显示屏移走即可。

为了方便模式切换，两个屏至少需要满足以下条件：

1、保证透明显示屏可灵活拆装，搬运；

2、两个屏至少有一个需要具备随时搬运拆装的灵活性，从而实现复合刺激模式和单刺激模式的切换且避免耗时过长。

3、保证两个屏可灵活分离、组合。

4、两个屏避免有真正的物理连接，便于方便快捷的组装或拆分。

本实施例的视觉刺激产生方法，通过将两种视觉刺激叠加呈现在受试者眼前从而得到相关反馈脑电信号，并且可灵活切换复合及单刺激模式，增加实验设计的灵活性、多样性并且避免了系统复杂性的增加导致所需时间的延长。

图3示出了本发明一实施例视觉刺激产生方法的流程示意图，如图3所示，本实施例的视觉刺激产生方法如下所述。

201、将两个不同的视觉刺激文件通过两个屏在受试者眼见展示。

将刺激分别由两个不同的屏呈现，可以最大程度的保证真实性。

202、让两个刺激在视觉上达到叠合效果。

具体来说，就是将两个视觉刺激一前一后放置，呈现叠合效果。这样可以既可避免二维空间上位置不同导致的实验干扰，而且可以最大程度达到产生脑电反应时空间时间的一致性。

具体来说：

2011、将一个视觉刺激通过普通显示屏显示出来，另一个视觉刺激通过拥有透明效果的透明显示屏显示；

利用透明显示屏可透视的特性，实现两个视觉刺激叠加的效果。

2011’、使用以LCD为基础的透明显示器。

利用LCD透明显示技术，即利用后置背光源和透明玻璃，实现具有实用性亮度、清晰度、分表率的透明显示效果。

2021、保证两个视觉刺激的可重叠性最大化；

保证从后方显示屏射出的偏振光最大程度地穿过前方屏；

2022、保证两个视觉刺激在位置上达到重叠效果。

将两个屏幕在竖直平面上保持位置一致，即上下左右重叠。避免位置差异带来干扰。

2023、保证两个视觉刺激的亮度足够接近。

简单说就是将两屏幕的亮度调节到接近的水平，避免亮度差异带来干扰。

2024、保证两个视觉刺激的清晰程度均足够。

选用清晰度相近的屏幕，避免清晰度差异带来干扰。

2025、保证两个视觉刺激在转化时是的速率接近。为了使两个不同视觉刺激的转化时的速率接近，可使第一显示屏和第二显示屏的刷新率均不低于60Hz。

具体做法为寻找刷新率近似的屏幕，避免屏幕图像切换时带来干扰。

本实施例的视觉刺激产生方法，能最大限度的实现复合效果，让受试者同一时间在同一平面位置观察到两个视觉刺激，避免空间上眼球移动导致的时间偏差和注意力转移等问题。另外，两个屏分别呈现刺激可以真实的模拟两个不同刺激源产生刺激后的场景。两者均有利于实验环境的真实性。

图4示出了本发明一实施例提供的视觉刺激产生方法的具体流程示意图。如图4所示，在复合刺激模式下，可通过如下步骤让两个不同视觉刺激在视觉上达到叠合效果：

301、保证两个显示屏的光偏振角合适，使得后方显示屏射出的光的偏振角度与前方显示屏面对后方显示屏的一侧的光偏振角度一致；

302、将透明显示屏置于普通显示屏幕前方。

透明显示屏具有透明性，可以通过其看到后面的图像，所以将其放在前面，将普通显示屏放于后面，真正实现两个视觉刺激叠加。

303、调整两个显示屏之间的距离，避免边框对视频的干扰。

普通显示屏和透明显示屏均有边框，需要适当调整两者前后的距离，避免边框对刺激图像的干扰。

304、调整两个显示屏之间的距离，避免实际屏幕分辨率的差异导致的不佳叠合效果。

两个屏实际分辨率可能会有差异，所以通过调整屏幕间的距离，使得分辨率较低的一者不会带来清晰度的差异，避免干扰。

305、调整两个显示屏之间上下左右的相对位置，保证实际视频内容适当地叠合。

详细来讲，因为两个屏独立地播放视觉刺激，所以图像在实际大小、色彩、内容和视角等方面可能存在不够匹配的问题，所以需要调整两者相对距离以及距离受试者的绝对距离，例如本身图像过小，则拉近受试者，过大则拉近。

本实施例的视觉刺激产生方法，通过实际调整两屏的位置，实现理想的视觉叠合效果。两个屏的可调整范围内利用实验环境的特点试验出最理想的摆放位置，为实验结果的准确基本条件。

图5示出了本发明一实施例提供的视觉刺激产生方法的条件创造流程示意图。如图5所示，可通过如下步骤保证两个视觉刺激的亮度足够接近：

401、普通显示屏利用电脑自带功能调整亮度。

两个屏在位置调整工作完成后，需要进行在自身范围内的亮度自调整。其中普通显示屏利用本身电脑自带的亮度调节功能进行调试。

402、透明显示屏通过背光源电压大小的调整来控制其亮度。

透明显示屏因为将传的背光结构去除，导致只能手动直接调整背光源的电压高低，从而实现整体透明屏的亮度大小，透视情况、清晰度、透光率与普通显示屏以及整个实验相匹配。

403、若实际环境中普通显示屏后方为白色墙壁或其他白色背景则无需更多措施，若背景为非白色，则需要在背景墙上放置白色的塑料板之类的，保证背景颜色为白色。

具体地，透明显示屏的背光需要白色的背景反射光线，从而达到整个屏幕区域光线均匀分布，以实现强度足够且均匀的透明显示效果。故当实验环境本身背景为白色，则可以直接进行实验，若背景为其他颜色，需要措施使得背景颜色变白。

404、保证使用环境为遮光好的室内。

通过窗帘或其他遮光物，保证实验室环境无自然光，从而避免外部环境的干扰。

在透明显示屏上加装亮度调节模块。

通过硬件、软件方面的改进，在透明显示屏上加装模块实现直接按键或触屏操作，通过硬件连接，控制背光源的电压大小从而完成亮度调节模块。

本实施例的视觉刺激产生方法，利用实际的技术加装人为控制的部分，实现方便的亮度控制。并且排除外部因素，保证实验系统内部光源的完全控制。如图6所示。

501、透明显示屏在拆分传统柜式结构的基础上只保留前部的屏幕和一定厚度的边框。

由于需要考虑便捷性和实现灵活的模式切换，透明显示屏部分本身需要较薄厚度，或者将原本较大的厚度采用特殊工艺切分打薄；且由于需要叠加后方普通显示屏的刺激图像，框形结构的背板需要去掉。

502、在边框上加装背光源，如灯管。

较薄的半框体仍需要加装背光源，这里使用灯管。故需要将其竖放在半框体较薄的侧面内已经横放在前面的上下沿内。即本身光源围成矩形框分布值较狭小的透明屏箱体内。

本实施例的视觉刺激产生方法，实现在保证本身灵活性和可拆装特性的前提下，将必要的光源加入设备上且不限制物理上的工艺要求和标准。

本实施例的视觉刺激产生方法，避免了过于复杂的一体式设备，这样减小了移动拆装的难度和耗时，并保证了真实的复合刺激场景。

从上可以看出，本发明的视觉刺激产生方法，不依靠在实际视频显示中的高端叠加效果。因为是实际地将两个独立视频图像空间上叠加在了一起，因而保证了稳定性，避免技术故障发生的可能。而且所用的光源实现完全了自主调节，避免了不必要的干扰。

根据本发明的另一方面，还提供一种BCI系统，图7示出了本发明一实施例提供的BCI系统的结构示意图。如图7所示，BCI系统包括如上述的视觉刺激显示系统100以及交互控制模块200。

结合参阅图1，交互控制模块200包括脑电信号采集平台210和实时处理系统220。脑电信号采集平台210用于实时采集第一显示屏111或/及第二显示屏121显示的视觉刺激信号，经过放大、滤波与模数转换后，通过数据线输入实时处理系统220。实时处理系统220用于对接收的视觉刺激信号进行实时处理，检测SSVEP信号的频率，并将其代表的命令传送到第二控制主机122；第二控制主机122用于根据命令的类型做相应的处理，并通过第二显示屏做相应的显示。

脑电信号采集平台210可采用现有的脑电头带或脑电帽等，由于其属于现有技术，在此就不多做赘述。实时处理系统220具有两个主要功能：一是对整个系统的工作状态进行控制，二是对脑电数据进行实时处理，识别用户的操作命令。实时处理系统220的控制软件可采用TeamViewer软件，它是一个能在任何防火墙和NAT代理的后台用于远程控制，桌面共享和文件传输的简单且快速的解决方案。需要独立解决的部分是将SSVEP信号转化为控制该软件的命令，实际操作时可将TeamViewer软件安装于控制双屏的两台电脑(即，第一控制主机112和第二控制主机122)中，再使用分配的ID和密码，将透明屏电脑(第一控制主机112)设置为控制端，普通屏电脑(第二控制主机122)设置为受控端。

在一个优选实施例中，第一控制主机120用于控制在第一显示屏111上呈现虚拟按键组，虚拟按键组以不同的频率(或者相位)闪烁以产生不同频率(或者相位)的视觉刺激。虚拟按键组例如为四行三列共十六模块，每一模块以不同的频率闪烁，在将各模块对应相应的程序驱动功能。其中可设置一个选定键，四个控制鼠标键，分别为上、下、左、右，另外四个控制屏幕的移动的键，同样是上、下、左、右。另外一个是HOME键帮助回到主页面，还有一个是菜单键，帮助各个页面之间切换。另外剩下的按键分别用于删除、复制、粘贴和右击。这些键以不同的频率闪烁，使用者使用时将目光注视于目标位置上，这样再采集大脑中的SSVEP波形，进行处理、特征提取等步骤，最终将转化成的命令传输到受控端以控制普通屏的操作。所以实际屏幕的内容呈现在后面普通屏，虚拟按键呈现在前面透明屏上；虚拟按键组例如可将上述键盘变为标准键盘，这样输入选择更灵活但由于键数目的增多，相互之间的间距减小，会增加SSVEP识别难度。

本发明已经通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明的教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。