法律状态公告日
法律状态信息
法律状态
2022-12-27
未缴年费专利权终止 IPC(主分类):A61B 5/16 专利号:ZL2017100317693 申请日:20170117 授权公告日:20191126
专利权的终止
2019-11-26
授权
授权
2017-07-04
实质审查的生效 IPC(主分类):A61B5/16 申请日:20170117
实质审查的生效
2017-06-09
公开
公开
技术领域
本发明公开了一种基于功能性近红外光谱技术(fNIR)的专注力检测、训练系统和方法。
背景技术
现有的技术存在采用fNIR功能性近红外光谱技术测量大脑皮层的含氧血红蛋白和脱氧血红蛋白以及总血红蛋白的含量,来表征大脑在接受外界刺激或思维过程中不同区域的反应和功能表达的技术方案;但是现有技术中采用的具体的传感设备有不同的缺陷,有的体积较大和重量较重,不适于对象穿戴。有的使用有线数据传输这限制了使用的范围;而且现有技术无法明确血红蛋白含量与专注力之间的关系,也无法将血红蛋白含量转化为专注度得分。现有的技术也没有建立通过检测血红蛋白含量来训练专注度的有效应用。
发明内容
本发明所解决的技术问题是,针对现有技术的不足,提供一种基于功能性近红外光谱技术(fNIR)的专注力检测、训练系统和方法,能够基于功能性近红外光谱技术(fNIR)检测大脑专注力,结果准确可靠。
一种基于功能性近红外光谱技术的专注力检测系统,包括可穿戴fNIR传感装置和智能终端;
所述可穿戴fNIR传感装置包括fNIR控制模块、m个fNIR传感器检测单元Gi(i=1,2,...,m)、fNIR信号处理模块、fNIR信号存储模块和fNIR信号传输模块;每个fNIR传感器检测单元包括一个fNIR信号发射模块和一个fNIR信号采集模块;
所述fNIR控制模块:控制fNIR信号发射模块中信号发射源的开关和光谱波长,fNIR信号采集模块中传感器的开关以及信号通道的开关,确保采样流程有序进行;并控制fNIR信号存储模块和fNIR信号传输模块的工作;
所述fNIR信号发射模块:通过信号发射源发射近红外光谱信号,可按要求发射不同波长的红外光谱信号;
所述fNIR信号采集模块:无创实时采集反射回来的不同波长的近红外光谱信号;
所述fNIR信号处理模块:对fNIR信号采集模块采集的近红外光谱信号进行模拟放大和模数转换;
所述fNIR信号存储模块:用于信号存储;
所述fNIR信号传输模块:通过无线传输技术(蓝牙等)直接将信号传送给配对的终端设备(如手机,便携电脑等);
所述智能终端接收可穿戴fNIR传感装置采集的近红外光谱信号,将其转换为血红蛋白含量信息(包括大脑皮层的含氧血红蛋白、脱氧血红蛋白以及总血红蛋白的含量),再量化为专注度得分。
每个fNIR信号发射模块包括2个信号发射源(LED阵列)S1和S2,能发射730nm和850nm测试红外光谱;所述fNIR信号采集模块包括8个传感器D1~D8,能够将反射回来的近红外光谱信号经光电耦合转换成模拟电子信号;S1和D1~D5之间各存在一条信号通道,分别记为CS1D1,CS1D2,CS1D3,CS1D4,CS1D5;S2和D4~D8之间各存在一条信号通道,分别记为CS2D4CS2D5,CS2D6,CS2D7,CS2D;信号通道用于相应的发射源和传感器通信;用SSxDy代表发射源Sx和传感器Dy之间的信号通道上的信号,即发射源Sx发射的近红外光谱信号反射回来后传感器Dy接收到的信号;fNIR控制模块通过多路开关选择性采集各信号通道上的信号。
所述智能终端内置有专注力分析模块,用于接收可穿戴fNIR传感装置采集的近红外光谱信号,将其转换为血红蛋白含量信息,再量化为专注度得分;或者,所述智能终端通过网络与中心服务器通信连接,将可穿戴fNIR传感装置采集的近红外光谱信号传送给中心服务器;中心服务器通过内置有专注力分析模块,用于将近红外光谱信号转换为血红蛋白含量信息,再量化为专注度得分。
所述可穿戴fNIR传感装置的所有功能模块集成于一个便携式穿戴设备内。
一种基于功能性近红外光谱技术的专注力检测方法,采用以上系统检测大脑专注力,方法的具体步骤为:
可穿戴fNIR传感装置中的fNIR控制模块控制fNIR信号发射模块中信号发射源的开关和光谱波长、fNIR信号采集模块中传感器的开关以及信号通道的开关,循环采集不同光谱长度下,各个信号通道的近红外光谱信号,并传输至智能终端;
在单机模式下,所述终端设备通过内置的专注力分析模块,实现实时近红外光谱信号转换为血红蛋白含量信息,再量化成专注力指标。
在网络模式下,所述终端设备将无线获取的信号通过网络发往中心服务器;中心服务器通过内置的专注力分析模块,将近红外光谱信号转换为血红蛋白含量信息,再量化成专注力指标。
所述专注力分析模块将近红外光谱信号转换为血红蛋白含量信息,再量化成专注力指标,具体包括以下步骤:
首先,对采集到的近红外光谱信号进行滤波,去除其中的噪音等杂波;
在每个时间点,将当前时间点对应的滤波后的近红外光谱信号强度和前一个时间点对应滤波后的的近红外光谱信号强度相减,即是该时间点近红外光谱强度变化量;
然后,根据比尔‐朗伯定律,通过以下公式将不同波长的光谱强度变化量转换成含氧血红蛋白
其中,λ1、λ2为光谱长度,分别为730nm和850nm;
再将由第i(1,2,…,m)个fNIR传感器检测单元中第j(1,2,…,n)个信号通道在某时间窗口内第k(1,2,…,K)个时间点采集的近红外光谱信号转换得到的血红蛋白含量信息
再计算该时间窗口内第k个时间点的专注度得分:
最后,计算该时间窗口内的综合专注度得分
所述对采集到的近红外光谱信号进行滤波是采用5阶巴特沃斯滤波器对采集到的近红外光谱信号进行滤波:
其中,θ=5,f0为截止频率,取f0=0.1Hz,|H(f)|是滤波后信号的振幅;f为采集到的近红外光谱信号经过傅立叶变化转化得到的相应的频域信号;将|H(f)|经过反傅立叶变化转换回时域信号,得到滤波后的近红外光谱信号强度。
所述初始化中,设置窗口程度K=5,信号通道数量n=5,fNIR传感器检测单元数量m=8。
本发明可以根据综合专注度得分
一种基于功能性近红外光谱技术的专注力训练方法,将基于功能性近红外光谱技术的专注力检测系统和方法应用于学习或游戏项目的难度和进程调节;包括以下步骤:
首先,采用基于功能性近红外光谱技术的专注力检测系统和方法获得综合专注度得分
自适应调节学习或游戏项目难度和进程的具体方法为:若
以下对信号采集和专注度量化的原理进行进一步具体说明。
可穿戴fNIR传感装置循环采集各个光谱长度下,各个信号通道的数据的具体步骤为:
步骤1、初始化:将fNIR信号存储模块清零,设置传感器检测单元参数i=1;将fNIR信号传输模块和终端设备无线连接,关闭所有fNIR传感器检测单元;
步骤2、判断是否满足i>m,若满足,则返回步骤1;否则,进入步骤3;
步骤3、fNIR控制模块检测fNIR传感器检测单元Gi(i=1,2,...,m);
步骤3.1、控制模块首先打开S1,使之发射730nm红外光谱信号,然后打开传感器D1,D2,D3,D4,D5,再依次打开信号通道CS1D1,CS1D2,CS1D3,CS1D4,CS1D5,依次采集每个信号通道上的信号;然后通过信号处理模块将每个通道的信号进行模拟放大和A/D转换,再存储到fNIR信号存储模块;
步骤3.2、控制模块首先打开S1,使之发射850nm红外光谱信号,然后打开传感器D1,D2,D3,D4,D5,再依次打开信号通道CS1D1,CS1D2,CS1D3,CS1D4,CS1D5,依次采集每个信号通道上的信号;然后通过信号处理模块将每个通道的信号进行模拟放大和A/D转换,再存储到fNIR信号存储模块;
步骤3.3、控制模块首先打开S2,使之发射730nm红外光谱信号,然后打开传感器D4,D5,D6,D7,D8,再依次打开信号通道CS2D4CS2D5,CS2D6,CS2D7,CS2D8,依次采集每个信号通道上的信号;然后通过信号处理模块将每个通道的信号进行模拟放大和A/D转换,再存储到fNIR信号存储模块;
步骤3.4、控制模块首先打开S2,使之发射850nm红外光谱信号,然后打开传感器D4,D5,D6,D7,D8,再依次打开信号通道CS2D4CS2D5,CS2D6,CS2D7,CS2D,依次采集每个信号通道上的信号;然后通过信号处理模块将每个通道的信号进行模拟放大和A/D转换,再存储到fNIR信号存储模块;
注意:每个通道打开关闭的间歇时间是由光谱吸光系数决定。
步骤4、fNIR信号传输模块将存储器中的信号无线传送至终端设备;如果信号传送成功,则清除存储信息;否则保存存储信息继续发送;
步骤5、令i=i+1,返回步骤2。
所述专注力分析模块将近红外光谱信号转换为血红蛋白含量信息,再量化成专注力指标,具体包括以下步骤:
S1、初始化;设置窗口循环参数k=1、信号通道参数j=1、fNIR传感器检测单元参数i=1;设置窗口程度K;设置信号通道数量n;
S2、判断是否满足k>K,若满足,则计算一个时间窗口内的综合专注度得分
S3:判断是否满足i>m,若满足,则首先计算
S4:判断是否满足j>n,若满足,则令i=i+1,并返回步骤3;否则,进入步骤5;
S5:对采集到的近红外光谱信号进行5阶巴特沃斯滤波,去除其中的噪音等杂波(认为截止频率以上的信号为噪音,通过滤波进行去除):
其中,θ=5,f0为截止频率,f0=0.1Hz,|H(f)|是滤波后信号的振幅;f为采集到的近红外光谱信号经过傅立叶变化转化得到的相应的频域信号;将|H(f)|经过反傅立叶变化转换回时域信号,得到近红外光谱信号强度;
在每个时间点,将当前时间点对应的近红外光谱信号强度和前一个时间点对应的近红外光谱信号强度相减,即是该时间点近红外光谱强度变化量;
S6:根据比尔‐朗伯定律(the modified Beer‐Lambert's law),通过以下公式将不同波长(即730nm和850nm)的光谱强度变化量转换成含氧血红蛋白
其中,λ1、λ2为光谱长度,分别为730nm和850nm;
步骤6:将由第i个fNIR传感器检测单元中第j个信号通道在第k个时间点采集的近红外光谱信号转换得到的血红蛋白含量信息
令i=i+1,再返回步骤3。
神经网络的训练分为两个阶段:
学习阶段:采集血红蛋白信号的训练样本,并通过现有的技术手段例如(MIR核磁共振)和人工方式判定专注度得分(0~1之间),将每组血红蛋白信号作为神经网络的输入,判定的专注度得分作为神经网络的输出,让神经网络自我学习,并通过一定量样本的学习,稳定神经网络的状态;
验证阶段:采集血红蛋白信号的验证样本,仍旧通过现有的技术手段例如(MIR核磁共振)和人工方式判定专注度得分作为神经网络的可高度验证的判定依据。将血红蛋白的样本输入神经网络,神经网络根据学习阶段形成的状态自主判断出专注度得分;然后将该得分和现有的技术手段例如(MIR核磁共振)和人工方式判定的得分对比,当准确度达到95%以上,神经网络进入实用阶段;否则,回到学习阶段,神经网络继续学习并调整。
有益效果:
大脑皮层的含氧血红蛋白、脱氧血红蛋白以及总血红蛋白的含量信息,是表征大脑在接受外界刺激或思维过程中不同区域的反应和功能的原始表达;血红蛋白含量和大脑的活跃程度,专注力有高度的关联。本发明首先由可穿戴fNIR传感装置收集并处理信号,并将信号无线传送到智能终端设备(台式、便携式和平板电脑以及智能手机),设计专注力分析模块,能敏感准确地将大脑思维反应映射并量化到不同的注意力层次,进行专注力量化,实现实时探知注意力集中的程度。本发明可以作为监控管理对象的手段,也可以将注意力集中的程度的信息通过单机模式或网络反馈到游戏中,让游戏的进程,场景和难度等随探知的注意力变化而智能地做相应调整。具体具有以下优点:
(1)本发明中开发的专注力分析模块,能将血红蛋白的含量动态地量化成专注力指标,从而实时监控对象的注意力集中程度。
(2)本发明采用无线通信方式实现了fNIR传感器在单机模式下和便携终端设备的通讯和信号传递;使用方便;
(3)本发明实现了传感器在网络模式下和中心服务器的通讯和信号传递;在网络模式下,终端设备将采集的数据通过网络将数据传递到中心服务器,通过中心服务器的存储模块对大量设备采集到的数据进行存储,利用中心服务器的专注力分析模块对各个设备采集的数据进行分析处理,可实现大规模的实时信号采集和处理,可用于对目标群的监控。
(4)本发明实现了fNIR功能性近红外光谱检测的轻量化,将检测所需的信号发射,收集,处理,传输集成到一个便携式穿戴设备上,具有数据存储,轻量,低功耗,便携等的优点;
(5)本发明通过测量专注度得分,能够据此提供辅助预防措施。在一些对专注力有特殊要求的岗位,例如航空管制员,飞行员,汽车和火车司机,特种设备的操作员,该系统可以作为一种有效的监控手段,为判断对象的实时专注度提供判断的依据。当对象的专注程度下降或达到临界状态,系统可提醒对象或将信息传递给管理人员,作为采取预防措施的依据。本发明能够应用于科研、医疗、教育和培训机构,研究和测试在不同环境、方式下对象群体对外界刺激的专注度,并为专注度的不同及其原因的分析和研究提供支持。
(6)基于本发明能够进行专注力训练,根据专注度自适应调节游戏或学习项目的进程和难度,从而智能训练和提升专注力。传统的游戏或学习项目并不会针对对象的关注力的变化而自动改变,有别于传统的游戏或学习项目,本发明的游戏或学习项目能够实时探知对象的注意力集中程度,然后将注意力集中的程度的信息反馈到游戏或学习项目中,让游戏的进程,场景和难度等随探知的对象注意力变化智能地进行调整。当对象关注力处于活跃状态时候,游戏或学习项目会自动调高挑战的难度,激发对象在应对挑战的时候继续保持注意力活跃状态。当对象专注力下降,游戏或学习项目就会缓慢甚至停滞,这个信息会反馈给对象,促使对象重新对象的关注,回到积极挑战的状态,以达到训练对象专注力,并延长专注时间的作用。
附图说明:
图1为本发明中系统结构图;
图2为本发明fNIR传感器检测单元结构图;
图3为本发明可穿戴fNIR传感装置的工作流程图;
图4为本发明专注力分析模块的工作流程图;
图5为本发明专注力训练方法流程图。
具体实施方式
以下结合附图和具体实施方式对本发明进行进一步具体说明。
如图1所示,本发明公开了一种基于功能性近红外光谱技术的专注力检测系统,包括可穿戴fNIR传感装置和智能终端;
所述可穿戴fNIR传感装置包括fNIR控制模块、m个fNIR传感器检测单元Gi(i=1,2,...,m)、fNIR信号处理模块、fNIR信号存储模块和fNIR信号传输模块;每个fNIR传感器检测单元包括一个fNIR信号发射模块和一个fNIR信号采集模块;
所述fNIR控制模块:控制fNIR信号发射模块中信号发射源的开关和光谱波长,fNIR信号采集模块中传感器的开关以及信号通道的开关,确保采样流程有序进行;并控制fNIR信号存储模块和fNIR信号传输模块的工作;
所述fNIR信号发射模块:通过信号发射源发射近红外光谱信号,可按要求发射不同波长的红外光谱信号;
所述fNIR信号采集模块:无创实时采集反射回来的不同波长的近红外光谱信号;
所述fNIR信号处理模块:对fNIR信号采集模块采集的近红外光谱信号进行模拟放大和模数转换;
所述fNIR信号存储模块:用于信号存储;
所述fNIR信号传输模块:通过无线传输技术(蓝牙等)直接将信号传送给配对的终端设备(如手机,便携电脑等);
所述智能终端接收可穿戴fNIR传感装置采集的近红外光谱信号,将其转换为血红蛋白含量信息(包括大脑皮层的含氧血红蛋白、脱氧血红蛋白以及总血红蛋白的含量),再量化为专注度得分。
如图2所示,每个fNIR信号发射模块包括2个信号发射源(LED阵列)S1和S2,能发射730nm和850nm测试红外光谱;所述fNIR信号采集模块包括8个传感器D1~D8,能够将反射回来的近红外光谱信号经光电耦合转换成模拟电子信号;S1和D1~D5之间各存在一条信号通道,分别记为CS1D1,CS1D2,CS1D3,CS1D4,CS1D5;S2和D4~D8之间各存在一条信号通道,分别记为CS2D4CS2D5,CS2D6,CS2D7,CS2D;信号通道用于相应的发射源和传感器通信;用SSxDy代表发射源Sx和传感器Dy之间的信号通道上的信号,即发射源Sx发射的近红外光谱信号反射回来后传感器Dy接收到的信号;fNIR控制模块通过多路开关选择性采集各信号通道上的信号。
所述智能终端内置有专注力分析模块,用于接收可穿戴fNIR传感装置采集的近红外光谱信号,将其转换为血红蛋白含量信息,再量化为专注度得分;或者,所述智能终端通过网络与中心服务器通信连接,将可穿戴fNIR传感装置采集的近红外光谱信号传送给中心服务器;中心服务器通过内置有专注力分析模块,用于将近红外光谱信号转换为血红蛋白含量信息,再量化为专注度得分。
所述可穿戴fNIR传感装置的所有功能模块集成于一个便携式穿戴设备内。
本发明还公开了一种基于功能性近红外光谱技术的专注力检测方法,采用以上系统检测大脑专注力,方法的具体步骤为:
可穿戴fNIR传感装置中的fNIR控制模块控制fNIR信号发射模块中信号发射源的开关和光谱波长、fNIR信号采集模块中传感器的开关以及信号通道的开关,循环采集不同光谱长度下,各个信号通道的近红外光谱信号,并传输至智能终端;
在单机模式下,所述终端设备通过内置的专注力分析模块,实现实时近红外光谱信号转换为血红蛋白含量信息,再量化成专注力指标。
在网络模式下,所述终端设备将无线获取的信号通过网络发往中心服务器;中心服务器通过内置的专注力分析模块,将近红外光谱信号转换为血红蛋白含量信息,再量化成专注力指标。
以下对信号采集和专注度量化的原理进行进一步具体说明。
如图3所示,可穿戴fNIR传感装置循环采集各个光谱长度下,各个信号通道的数据的具体步骤为:
步骤1、初始化:将fNIR信号存储模块清零,设置传感器检测单元参数i=1;将fNIR信号传输模块和终端设备无线连接,关闭所有fNIR传感器检测单元;
步骤2、判断是否满足i>m,若满足,则返回步骤1;否则,进入步骤3;
步骤3、fNIR控制模块检测fNIR传感器检测单元Gi(i=1,2,...,m);
步骤3.1、控制模块首先打开S1,使之发射730nm红外光谱信号,然后打开传感器D1,D2,D3,D4,D5,再依次打开信号通道CS1D1,CS1D2,CS1D3,CS1D4,CS1D5,依次采集每个信号通道上的信号;然后通过信号处理模块将每个通道的信号进行模拟放大和A/D转换,再存储到fNIR信号存储模块;
步骤3.2、控制模块首先打开S1,使之发射850nm红外光谱信号,然后打开传感器D1,D2,D3,D4,D5,再依次打开信号通道CS1D1,CS1D2,CS1D3,CS1D4,CS1D5,依次采集每个信号通道上的信号;然后通过信号处理模块将每个通道的信号进行模拟放大和A/D转换,再存储到fNIR信号存储模块;
步骤3.3、控制模块首先打开S2,使之发射730nm红外光谱信号,然后打开传感器D4,D5,D6,D7,D8,再依次打开信号通道CS2D4CS2D5,CS2D6,CS2D7,CS2D8,依次采集每个信号通道上的信号;然后通过信号处理模块将每个通道的信号进行模拟放大和A/D转换,再存储到fNIR信号存储模块;
步骤3.4、控制模块首先打开S2,使之发射850nm红外光谱信号,然后打开传感器D4,D5,D6,D7,D8,再依次打开信号通道CS2D4CS2D5,CS2D6,CS2D7,CS2D,依次采集每个信号通道上的信号;然后通过信号处理模块将每个通道的信号进行模拟放大和A/D转换,再存储到fNIR信号存储模块;
注意:每个通道打开关闭的间歇时间是由光谱吸光系数决定。
步骤4、fNIR信号传输模块将存储器中的信号无线传送至终端设备;如果信号传送成功,则清除存储信息;否则保存存储信息继续发送;
步骤5、令i=i+1,返回步骤2。
如图4所示,所述专注力分析模块将近红外光谱信号转换为血红蛋白含量信息,再量化成专注力指标,具体包括以下步骤:
S1、初始化;设置窗口循环参数k=1、信号通道参数j=1、fNIR传感器检测单元参数i=1;设置窗口程度K;设置信号通道数量n;
S2、判断是否满足k>K,若满足,则计算一个时间窗口内的综合专注度得分
S3:判断是否满足i>m,若满足,则首先计算
S4:判断是否满足j>n,若满足,则令i=i+1,并返回步骤3;否则,进入步骤5;
S5:对采集到的近红外光谱信号进行5阶巴特沃斯滤波,去除其中的噪音等杂波(认为截止频率以上的信号为噪音,通过滤波进行去除):
其中,θ=5,f0为截止频率,f0=0.1Hz,|H(f)|是滤波后信号的振幅;f为采集到的近红外光谱信号经过傅立叶变化转化得到的相应的频域信号;将|H(f)|经过反傅立叶变化转换回时域信号,得到近红外光谱信号强度;
在每个时间点,将当前时间点对应的近红外光谱信号强度和前一个时间点对应的近红外光谱信号强度相减,即是该时间点近红外光谱强度变化量;
S6:根据比尔‐朗伯定律(the modified Beer‐Lambert's law),通过以下公式将不同波长(即730nm和850nm)的光谱强度变化量转换成含氧血红蛋白
其中,λ1、λ2为光谱长度,分别为730nm和850nm;
步骤6:将由第i个fNIR传感器检测单元中第j个信号通道在第k个时间点采集的近红外光谱信号转换得到的血红蛋白含量信息
令i=i+1,再返回步骤3。
如图5所示,本发明还公开了一种基于功能性近红外光谱技术的专注力训练方法,将基于功能性近红外光谱技术的专注力检测系统和方法应用于游戏项目的难度和进程调节;包括以下步骤:
首先,采用基于功能性近红外光谱技术的专注力检测系统和方法获得综合专注度得分
自适应调节学习或游戏项目难度和进程的具体方法为:若
机译: 基于混合现实的认知与专注力评估和训练反馈系统
机译: 基于混合现实的认知与专注力评估和训练反馈系统
机译: 基于游戏的功能性电刺激康复训练系统及康复训练方法