一种动态态度判断型瞳孔脑机结合装置及其系统

摘要

本发明公开了一种动态态度判断型瞳孔脑机结合装置及其系统，属于脑机结合技术领域，一种动态态度判断型瞳孔脑机结合装置及其系统，该瞳孔脑机结合装置在角膜显示器内设置瞳孔收缩感应装置，利用感光导电技术实时收集瞳孔对观察对象的收缩反映，并利用电磁二次传导技术将瞳孔信息传出，实现对观察者态度判断，并以此建立基于瞳孔的脑机结合反馈体系，从而实现AR与现实场景的信息筛选与推送。

说明书

技术领域

本发明涉及脑机结合技术领域，更具体地说，涉及一种动态态度判断型瞳孔脑机结合装置及其系统。

背景技术

脑机接口是未来最有效的人机交互方式，但目前的研究领域和研究模式以及进展都非常缓慢且效果极不理想，非侵入条件下仅能使用脑电波技术和神经电脉冲识别技术，这两项技术也无法实现理想的脑机结合，脑机结合下的人机互动还处于探索阶段，目前的技术无法实现精准地读取被检验者的思维和意图。被检验人员也无法实现通过自身想法对人工智能设备进行操作。

由于近眼显示的特殊结构，使得红外跟踪技术无法有效实施，这就导致依赖瞳孔微量变化为基础的瞳孔端脑机结合无法实现。从而使瞳孔信息技术还不能作为判断用户意图的单一维度信息，需要额外获得足够的辅助信息才能判断使用者的心理活动状态，现有技术手段需要借助使用者输入详细需求，才能提供相关信息。本发明的瞳孔采集技术和脑机结合技术能够近距离正面获取瞳孔微量变化，在现有其他辅助条件(诸如心跳、呼吸、神经电脉冲识别等)的协助之下能够极大地提高脑机结合的准确性和实用性，能够为瞳孔端脑机结合提供设备条件。

发明内容

1.要解决的技术问题

针对现有技术中存在的问题，本发明的目的在于提供一种动态态度判断型瞳孔脑机结合装置及其系统，该瞳孔脑机结合装置在角膜显示器内设置瞳孔收缩感应装置，利用感光导电技术实时收集瞳孔对观察对象的收缩反映，并利用电磁二次传导技术将瞳孔信息传出，三个系统分别实现AR近眼显示、观察目标锁定、观察者态度判断，并以此建立基于瞳孔的脑机结合反馈体系，从而实现AR与现实场景的信息筛选与推送。

2.技术方案

为解决上述问题，本发明采用如下的技术方案。

一种动态态度判断型瞳孔脑机结合装置及其系统，包括支撑架，所述支撑架的后侧下表面固定安装有麦克风，所述麦克风的后端内部固定安装有骨传导定位件，所述骨传导定位件的内侧开设有数据线插孔，所述支撑架的前端内侧转动连接有镜框，所述镜框的内端固定安装有鼻托，所述鼻托的中部内侧固定安装有广角镜头，所述镜框的内侧壁镶嵌安装有镜片，所述镜片的后侧设置有环绕入眼显示器，所述环绕入眼显示器的内部固定安装有感受器，所述环绕入眼显示器的内部安装有透明入眼显示器，所述透明入眼显示器的内部设置有瞳孔信息采集线，所述镜框的内侧前端固定安装有感光采集块，所述数据线插孔的左上侧设置有心率传感器，所述心率传感器的右上侧设置有脑电波传感器。

进一步的，所述骨传导定位件的纵截面呈“C”字形结构，且骨传导定位件与耳朵外轮廓相匹配，并且骨传导定位件与支撑架的连接方式为嵌入式铆接或固定连接，嵌入式铆接前提下骨传导定位件与支撑架的可拆卸，方便使用者迅速拆卸安装，利用骨传导方式实现将声波传导到内耳的方式外加麦克风的方式，增强AR效果的真实性，环境声音与模拟声同时存在，不影响佩戴者对外界的判断。

进一步的，所述环绕入眼显示器的内部等角度设置有3组感受器，且环绕入眼显示器与透明入眼显示器呈同心圆状结构，采用贴合体验者的角膜的方式，入眼显示，并在广角镜头的作用下，能极大地扩大显示范围，避免了视场角狭窄的缺陷，避免了光晕和“彩虹”斑现象。

进一步的，所述透明入眼显示器的内部等角度设置有3组瞳孔信息采集线，且瞳孔信息采集线由一列感光导电膜排列组成，每个感光导电膜呈透明状，且彼此独立设置，单独对瞳孔反光进行导电反应，从显示器边缘向圆心排列瞳孔信息采集线，在圆心汇集，感应装置用来收集瞳孔变化，使用感光导电模式，感知瞳孔收缩时的射入光或反射光，瞳孔收缩时，瞳孔反光随瞳孔收缩的变化而产生明暗变化，感光导电感应装置可随瞳孔收缩的变化同步变化，从而采集到瞳孔收缩的同步数据，镜框接受瞳孔信息采集线发出的电磁信号，用以识别瞳孔信息采集线收集的信息。感光导电模式可将采集到的瞳孔收缩数据转化成电磁波信号，再由镜框电磁圈获取。

进一步的，瞳孔脑机结合系统包括情绪行为识别模块、眨眼行为识别模块和皮下感知识别模块，瞳孔实时追踪技术和瞳孔收缩实时传递技术能够实现脑机结合，能够避免“聚焦”和“会聚”的不协调现象，实现虚拟观察物体与现实观察物体处于同一观察距离。

进一步的，所述情绪行为识别模块包括感光单元，在外界光线不稳定状况下，所述感光单元的下级连接有第一瞳孔收缩单元，第一瞳孔收缩单元内置信息不传递至参数记录单元，瞳孔收缩的生理机制是对外界光线强弱的自然反应，除此之外还包括情绪的自然流露。

进一步的，所述感光单元下级连接有第二瞳孔收缩单元，在外界光线稳定状况下，所述第二瞳孔收缩单元内置信息传递至参数记录单元，所述参数记录单元的下级连接有参数输出单元，在镜框上设置了感知外界光线强弱变化的感光装置，由外界光线强弱导致的瞳孔收缩变化不作为情绪设定参数，只有在光线稳定时产生的瞳孔收缩变化才作为情绪设定参数。

进一步的，所述眨眼行为识别模块包括电磁屏蔽信号单元，所述电磁屏蔽信号单元的下级连接有电磁线圈识别单元，眨眼时瞳孔没有反光，导致瞳孔采集线感光功能瞬间屏蔽，眨眼时电磁信号会受到遮蔽，从而产生微量变化，镜框电磁线圈能够识别角膜接触透明显示器感受器是否处于遮蔽状态，从而实现眨眼识别。眨眼识别区分自然眨眼和有意图眨眼。

进一步的，所述电磁线圈识别单元的下级连接有有意眨眼单元，所述电磁线圈识别单元识别超过连续眨眼N次，实现行为操作一，“N”的次数通过设置确定，优选的连续三次眨眼为鼠标右键点击，显示为有意行为。

进一步的，所述电磁线圈识别单元的下级还连接有自然眨眼单元，所述电磁线圈识别单元识别未超过连续眨眼N次，实现行为操作二，“N”的次数通过设置确定，优选的连续眨眼两次为鼠标左键单击，显示为自然行为。

进一步的，所述皮下感知识别模块包括脑电波接收单元和心率接收单元，所述脑电波接收单元和心率接收单元下级均连接有单片机处理单元，若处理结果异常，启动警示单元予以警告，并储存在存储单元内，若处理结果并未发生异常，将其处理信息通过存储单元储存信息。通过设置有皮下感知识别模块，方便采集佩戴者心跳和脑电波信息，并与角膜信息配合用于脑机结合系统，能够进一步防止使用者疲劳驾驶、酒驾，预防昏迷，提供健康信息等。

3.有益效果

相比于现有技术，本发明的优点在于

(1)本方案该瞳孔脑机结合装置在角膜显示器内设置瞳孔收缩感应装置，利用感光导电技术实时收集瞳孔对观察对象的收缩反映，并利用电磁二次传导技术将瞳孔信息传出，三个系统分别实现AR近眼显示、观察目标锁定、观察者态度判断，并以此建立基于瞳孔的脑机结合反馈体系，从而实现AR与现实场景的信息筛选与推送。

(2)骨传导定位件的纵截面呈“C”字形结构，且骨传导定位件与耳朵外轮廓相匹配，并且骨传导定位件与支撑架的连接方式为嵌入式铆接或固定连接，嵌入式铆接条件下骨传导定位件与支撑架的可拆卸，方便使用者迅速拆卸安装，利用骨传导方式实现将声波传导到内耳的方式外加麦克风的方式，增强AR效果的真实性，环境声音与模拟声同时存在，不影响佩戴者对外界的判断。

(3)环绕入眼显示器的内部等角度设置有3组感受器，且环绕入眼显示器与透明入眼显示器呈同心圆状结构，采用贴合体验者的角膜的方式，入眼显示，并在广角镜头的作用下，能极大地扩大显示范围，避免了视场角狭窄的缺陷，避免了光晕和“彩虹”斑现象。

(4)透明入眼显示器的内部等角度设置有3组瞳孔信息采集线，且瞳孔信息采集线由一列感光导电膜排列组成，每个感光导电膜呈透明状，且彼此独立设置，单独对瞳孔反光进行导电反应，从显示器边缘向圆心排列瞳孔信息采集线，在圆心汇集，感应装置用来收集瞳孔变化，使用感光导电模式，感知瞳孔收缩时的射入光或反射光，瞳孔收缩时，瞳孔反光随瞳孔收缩的变化而产生明暗变化，感光导电感应装置可随瞳孔收缩的变化同步变化，从而采集到瞳孔收缩的同步数据，镜框接受瞳孔信息采集线发出的电磁信号，用以识别瞳孔信息采集线收集的信息。感光导电模式可将采集到的瞳孔收缩数据转化成电磁波信号，再由镜框电磁圈获取。

(5)瞳孔脑机结合系统包括情绪行为识别模块、眨眼行为识别模块和皮下感知识别模块，瞳孔实时追踪技术和瞳孔收缩实时传递技术能够实现脑机结合，能够避免“聚焦”和“会聚”的不协调现象，实现虚拟观察物体与现实观察物体处于同一观察距离。

(6)情绪行为识别模块包括感光单元，在外界光线不稳定状况下，感光单元的下级连接有第一瞳孔收缩单元，第一瞳孔收缩单元内置信息不传递至参数记录单元，瞳孔收缩的生理机制是对外界光线强弱的自然反应，除此之外还包括情绪的自然流露。

(7)感光单元下级连接有第二瞳孔收缩单元，在外界光线稳定状况下，第二瞳孔收缩单元内置信息传递至参数记录单元，参数记录单元的下级连接有参数输出单元，在镜框上设置了感知外界光线强弱变化的感光装置，由外界光线强弱导致的瞳孔收缩变化不作为情绪设定参数，只有在光线稳定时产生的瞳孔收缩变化才作为情绪设定参数。

(8)眨眼行为识别模块包括电磁屏蔽信号单元，电磁屏蔽信号单元的下级连接有电磁线圈识别单元，眨眼时瞳孔没有反光，导致瞳孔采集线感光功能瞬间屏蔽，眨眼时电磁信号会受到遮蔽，从而产生微量变化，镜框电磁线圈能够识别角膜接触透明显示器感受器是否处于遮蔽状态，从而实现眨眼识别。眨眼识别区分自然眨眼和有意图眨眼。

(9)电磁线圈识别单元的下级连接有有意眨眼单元，电磁线圈识别单元识别超过连续眨眼N次，实现行为操作一，“N”的次数通过设置确定，优选的连续三次眨眼为鼠标右键点击，显示为有意行为。

(10)电磁线圈识别单元的下级还连接有自然眨眼单元，电磁线圈识别单元识别未超过连续眨眼N次，实现行为操作二，“N”的次数通过设置确定，优选的连续眨眼两次为鼠标左键单击，显示为自然行为。

(11)皮下感知识别模块包括脑电波接收单元和心率接收单元，所述脑电波接收单元和心率接收单元下级均连接有单片机处理单元，若处理结果异常，启动警示单元予以警告，并储存在存储单元内，若处理结果并未发生异常，将其处理信息通过存储单元储存信息。通过设置有皮下感知识别模块，方便采集佩戴者心跳和脑电波信息，并与角膜信息配合用于脑机结合系统，能够进一步防止使用者疲劳驾驶、酒驾，预防昏迷，提供健康信息等。

附图说明

图1为本发明的瞳孔脑机结合装置轴侧结构示意图；

图2为本发明的图1中A处放大结构示意图；

图3为本发明的瞳孔脑机结合装置主视结构示意图；

图4为本发明的瞳孔脑机结合装置侧视结构示意图；

图5为本发明的环绕入眼显示器主视结构示意图；

图6为本发明的瞳孔脑机结合系统示意图；

图7为本发明的情绪行为识别模块原理示意图；

图8为本发明的眨眼行为识别模块原理结构示意图；

图9为本发明的皮下感知识别模块原理结构示意图。

图中标号说明：

1、支撑架；2、麦克风；3、骨传导定位件；4、数据线插孔；5、镜框；6、鼻托；7、广角镜头；8、镜片；9、环绕入眼显示器；10、感受器；11、透明入眼显示器；12、瞳孔信息采集线；13、感光采集块；14、心率传感器；15、脑电波传感器。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1：

请参阅图1-7，一种动态态度判断型瞳孔脑机结合装置及其系统，包括支撑架1，支撑架1的后侧下表面固定安装有麦克风2，麦克风2的后端内部固定安装有骨传导定位件3，骨传导定位件3的内侧开设有数据线插孔4，支撑架1的前端设置有镜框5，其中支撑架1可转动可固定，优选转动连接方式，镜框5的内端固定安装有鼻托6，鼻托6的中部内侧固定安装有广角镜头7，镜框5的内侧壁镶嵌安装有镜片8，镜片8的后侧设置有环绕入眼显示器9，需要说明的是：镜片8与环绕入眼显示器9不接触，环绕入眼显示器9的内部固定安装有感受器10，环绕入眼显示器9的内部安装有透明入眼显示器11，透明入眼显示器11的内部设置有瞳孔信息采集线12，镜框5的内侧前端固定安装有感光采集块13，所述数据线插孔4的左上侧设置有心率传感器14，所述心率传感器14的右上侧设置有脑电波传感器15。

请参阅图1-2，需要说明的是：骨传导定位件3上设置有心率传感器14和脑电波传感器15，当使用者佩戴支撑架1时，便于检测佩戴者的心率和脑电波，并与皮下感知识别模块相结合，利用警示单元与麦克风2的外放相匹配，用以警示佩戴者，能够进一步防止使用者疲劳驾驶、酒驾，预防昏迷，提供健康信息等，此功能可以覆盖并超越手机手表功能，数据线插孔4的设置用于骨传导定位件3的供电。

请参阅图1-2，骨传导定位件3的纵截面呈“C”字形结构，且骨传导定位件3与耳朵外轮廓相匹配，并且骨传导定位件3与支撑架1的连接方式为嵌入式铆接，骨传导定位件3与支撑架1的可拆卸，方便使用者迅速拆卸安装，利用骨传导方式实现将声波传导到内耳的方式外加麦克风的方式，增强AR效果的真实性，环境声音与模拟声同时存在，不影响佩戴者对外界的判断。

请参阅图4-5，环绕入眼显示器9的内部等角度设置有3组感受器10，且环绕入眼显示器9与透明入眼显示器11呈同心圆状结构，采用贴合体验者的角膜的方式，入眼显示，并在广角镜头7的作用下，能极大地扩大显示范围，避免了视场角狭窄的缺陷，避免了光晕和“彩虹”斑现象。透明入眼显示器11的内部等角度设置有3组瞳孔信息采集线12，且瞳孔信息采集线12由一列感光导电膜排列组成，每个感光导电膜呈透明状，且彼此独立设置，单独对瞳孔反光进行导电反应，从显示器边缘向圆心排列瞳孔信息采集线12，在圆心汇集，感应装置用来收集瞳孔变化，使用感光导电模式，感知瞳孔收缩时的射入光或反射光，瞳孔收缩时，瞳孔反光随瞳孔收缩的变化而产生明暗变化，感光导电感应装置可随瞳孔收缩的变化同步变化，从而采集到瞳孔收缩的同步数据，镜框接受瞳孔信息采集线12发出的电磁信号，用以识别瞳孔信息采集线12收集的信息。感光导电模式可将采集到的瞳孔收缩数据转化成电磁波信号，再由镜框电磁圈获取。

请参阅图6，瞳孔脑机结合系统包括情绪行为识别模块、眨眼行为识别模块和皮下感知识别模块，瞳孔实时追踪技术和瞳孔收缩实时传递技术能够实现脑机结合，能够避免“聚焦”和“会聚”的不协调现象，实现虚拟观察物体与现实观察物体处于同一观察距离。

请参阅图7，情绪行为识别模块包括感光单元，在外界光线不稳定状况下，感光单元的下级连接有第一瞳孔收缩单元，第一瞳孔收缩单元内置信息不传递至参数记录单元，瞳孔收缩的生理机制是对外界光线强弱的自然反应，除此之外还包括情绪的自然流露。感光单元下级连接有第二瞳孔收缩单元，在外界光线稳定状况下，第二瞳孔收缩单元内置信息传递至参数记录单元，参数记录单元的下级连接有参数输出单元，在镜框上设置了感知外界光线强弱变化的感光装置，由外界光线强弱导致的瞳孔收缩变化不作为情绪设定参数，只有在光线稳定时产生的瞳孔收缩变化才作为情绪设定参数。

请参阅图8，眨眼行为识别模块包括电磁屏蔽信号单元，电磁屏蔽信号单元的下级连接有电磁线圈识别单元，眨眼时瞳孔没有反光，导致瞳孔采集线感光功能瞬间屏蔽，眨眼时电磁信号会受到遮蔽，从而产生微量变化，镜框电磁线圈能够识别角膜接触透明显示器感受器是否处于遮蔽状态，从而实现眨眼识别。眨眼识别区分自然眨眼和有意图眨眼。电磁线圈识别单元的下级连接有有意眨眼单元，电磁线圈识别单元识别超过连续眨眼N次，实现行为操作一，“N”的次数通过设置确定，优选的连续三次眨眼为鼠标右键点击，显示为有意行为。电磁线圈识别单元的下级还连接有自然眨眼单元，电磁线圈识别单元识别未超过连续眨眼N次，实现行为操作二，“N”的次数通过设置确定，优选的连续眨眼两次为鼠标左键单击，显示为自然行为。

请参阅图9，皮下感知识别模块包括脑电波接收单元和心率接收单元，所述脑电波接收单元和心率接收单元下级均连接有单片机处理单元，若处理结果异常，启动警示单元予以警告，并储存在存储单元内，若处理结果并未发生异常，将其处理信息通过存储单元储存信息。通过设置有皮下感知识别模块，方便采集佩戴者心跳和脑电波信息，并与角膜信息配合用于脑机结合系统，能够进一步防止使用者疲劳驾驶、酒驾，预防昏迷，提供健康信息等。

以上便完成该动态态度判断型瞳孔脑机结合装置及其系统的一系列操作，该瞳孔脑机结合装置在角膜显示器内设置瞳孔收缩感应装置，利用感光导电技术实时收集瞳孔对观察对象的收缩反映，并利用电磁二次传导技术将瞳孔信息传出，三个系统分别实现AR近眼显示、观察目标锁定、观察者态度判断，并以此建立基于瞳孔的脑机结合反馈体系，从而实现AR与现实场景的信息筛选与推送。

所述以上，仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。