用非触摸视频系统的评估脑疲劳的方法和装置

摘要

本发明描述评估脑疲劳的方法和装置。方法包括从受试者获得视频；从视频提取受试者的振动图像；从振动图像提取与感性有关的多个参数的值；用所述多个参数的值来提取多个因子得分(Factor Score)；以及将因子得分适用于既定的规则库来包括脑疲劳。

说明书

技术领域

本发明涉及评估心理生理学的脑疲劳的方法和装置，详细地涉及用振动图像以非触摸方式来评估脑疲劳的方法和装置。

背景技术

通过现代社会的多种活动的对人的刺激造成心理生理学的脑疲劳(Psycho-physiological Brain Fatigue)，这种脑疲劳再造成各种类型的疾病，并引起多种社会问题。尤其是从事于高危职业的劳动者受到长期的脑疲劳，该脑疲劳引起对于工作的影响和职业病等。因此，有必要提前诊断脑疲劳状态，以提前评估因脑疲劳而拒绝心理生理学的适应等的医学负面作用。这种提前评估可以早期从高危职业的劳动者及时发现包括其所得的职业病等的相关疾病，并且在考虑劳动者的劳动能力和保健层面进行及时的预防和康复。现有的心理生理学的诊断方式需要几个小时，更须将感应器附在受试者的人体上，并且需要熟练的检查人员的参与。

发明内容

技术问题

根据一个或多个实施例，揭示可以基于非触摸方式评估脑疲劳的方法和装置。

根据一个或多个实施例，揭示可以消除由附在人体上的装置所引起的心理负担的非触摸脑疲劳评估方法和装置。

技术方案

根据一个或多个实施例的脑疲劳评估方法，包括：

从受试者获得视频；

从所述视频提取受试者的振动图像；

从所述振动图像提取与感性有关的多个参数的值；

用所述多个参数的值来提取多个因子得分(Factor Score)；以及

将所述因子得分适用于既定的规则库来评估脑疲劳。

根据一个或多个实施例的脑疲劳评估装置，具有：

从受试者获得视频的视频相机；

处理所述视频来提取振动图像的图像处理单元；

从来自所述图像处理单元的振动图像提取与感性有关的多个参数的值的分析单元；

用所述多个参数的值来提取多个因子得分，并将所述因子得分适用于既定的规则库来评估所述受试者的脑疲劳的脑疲劳判断单元。

根据一个或多个实施例，所述参数可以包括攻击性(T1)、压力(T2)、不安感(T3)、危险性(T4)、平稳(T5)、感召力(T6)、能量(T7)、自控(T8)、遏制(T9)以及神经官能症(T10)中的至少两个。

根据一个或多个实施例，可以用用所述参数的值的因子分析来提取所述因子得分。

根据一个或多个实施例，所述因子得分可以包括压力(F1)水平、稳定性(F2)水平、活性化(F3)水平和平稳(F4)水平中的至少一个。

根据一个或多个实施例，所述压力(F1)水平可以基于攻击性(T1)、危险性(T4)、感召力(T6)和压力(T2)的参数值来计算，

所述稳定性(F2)水平可以基于不安感(T3)、遏制(9)以及神经官能症(T10)的参数的值来计算，所述活性化(F3)水平可以基于攻击性(T1)、危险性(T4)、能量(T7)的参数的值来计算，以及所述平稳(F4)水平可以从平稳(T5)和自控(T8)的参数的值来计算。

根据一个或多个实施例，所述规则库可以被表示为确定脑疲劳指数(R)的以下式。

<式>

R＝(0.8608×L1)+(0.333×L2)+(0.104×L3)+(1.129×L4)

L1：压力(F1)水平，L2：稳定性(F2)水平，L3：活动性(F3)水平，L4：平稳(F4)水平。

根据一个或多个实施例的进行脑疲劳评估方法的脑疲劳评估装置，可以具有：从受试者获得视频的视频相机；

处理所述视频来提取振动图像的图像处理单元；

从来自所述图像处理单元的振动图像提取与感性有关的多个参数的值的分析单元；

从所述参数计算因子得分并用所述规则库评估脑疲劳的脑疲劳判断单元。

有益效果

根据如上所述的本发明，可以以非触摸方式特迅速地测量受试者的脑疲劳。本发明为很有前途的创新的方法，其可以在从事于高危职业的定期和轮班的劳动者的提前体检的阶段以非触摸方式诊断心理生理学的脑疲劳状态的。本发明不仅可以适用于开阔现有的心理生理学的诊断手段的层面，还可以单独适用于在很短时间内识别具有拒绝心理生理学的适应的迹象的人的层面。通过本发明能够获得的实质效果如下。

1)通过使用实时拍摄的视频并分析的资料来显示脑疲劳状态的方式，在远场或现场以非触摸方式评估心理生理学的状态。

2)在所投入的业务的心理生理学的脑疲劳度的检查和基于此应用需要采取措施的对象的振动图像测量资料来准备所需的措施(训练、治愈等)的层面利用心理生理学的脑疲劳状态数据。

3)为了提高高危职业或情绪劳动者等的业务效率，在树立轮班工作计划或训练治疗计划时可以应用为基本资料。

4)可以基于振动图像测量数据来评估特殊部分或异常反应部分而实时提供军人、学生等属于群体生活的人的心理生理学的脑疲劳状态，以提前防止事故。

5)在时间生物学(Chronobiology)的层面，通过对于对象进行定期或长期测量来监督对象的心理生理学的脑疲劳状态的变化趋势，从而开阔为管理精神健康的服务，并将测量的数据变为大数据来结合人工智能(Artificial Intelligence)解决方案，以发展成医疗诊断用。

附图说明

图1为由本发明提取的振动图像，图示人体能量(气氛)放射在受试者人体图像周围的一个例子。

图2为根据本发明导出的心理生理学不适应可能性积累概率图表。

图3为显示根据本发明的根据评估脑疲劳的工作合适判定表的一个例子。

图4图示根据本发明基于在每日累积的所获得的脑疲劳指数对于受试者危险区间和注意区间的评估标准的一个例子。

图5为根据本发明的评估脑疲劳的方法的流程图。

图6为显示根据本发明的评估脑疲劳的装置的大体结构的示意图。

具体实施方式

以下，参考附图，考察根据本发明的用振动图像的感性分类方法。

以下参照附图说明根据本发明的评估脑疲劳的方法以及适用该方法的系统的实施例。

本发明的实施例基本上以非触摸式测量方法来检测心理生理学的生物信号，并用此评估受试者的脑疲劳与否。

非触摸式测量适用基于计算机的视频分析方法，因此使用获得视频的视频相机系统和用从此的视频检测受试者的脑疲劳与否的基于硬件的软件分析装置。

振动图像标示以前庭-情绪反射(Vestibulo-Emotional Reflex,VER)的信息为特征的头部移动活动。本发明通过分析振动图像提取10个参数，并将所提取的参数适用于评估脑疲劳指数的规则-库来评估或测量受试者的脑疲劳水准。

视频和振动图像的变换实时测量与人体的功能状态有关的头部移动，并将其按照视频单位分析来进行微积分以提供为计算的变数。各个变数从以下式计算出，被表示为振幅(A)和频率(F)。

【数学式1】

其中，A为振幅、N为帧数、U

【数学式2】

在本发明中，从参数提取与脑波信号相应的信号成分，并据此评估受试者的脑疲劳水准。

首先，具体考察振动图像参数的测量。

获得关于生物体的攻击性水准的信息为生成频率分布直方图，并测量据此的生物体的头部振动图像参数的。

参数攻击性(T1)根据频度柱形图来显示频度分布的最大值和脸面震颤频度的标准差。标准差越大，且分布最大值越大，攻击性参数数值也越大。对于攻击性强的人来说，其头部细微移动的高频率和头部部位的多种点在移动上的扩散幅很大。

【数学式3】

Fm-在直方图中频率分布密度的最大频率

Fi-在直方图中在N帧时间中所获得的频率分布密度的“I”频率收集量

Fin-振动图像处理频率

n-在N帧中包括超过极值的帧之间的差的收集量

参数压力水准(T2)取决于头部部位的右侧和左侧的细微移动的不平衡程度。头部部位的右侧和左侧的移动振幅和频度的大差异意味着压力参数高。

【数学式4】

参数不安感水准(T3)取决于在观测头部部位的细微移动频度的光谱时对于总面积的振动光谱频度的高度部分如何。振动频度高部分的密度越大，不安感参数也越高。

【数学式5】

Pi(f)-振动图像频率分布功率谱

fmax-振动图像频率分布光谱的最大频率

危险性(T4)

参数危险性水准(T4)是指整体的否定性情绪状态，并显示潜在危险人物的情绪水准。

【数学式6】

K-所获得的频率直方图一般化相关系数

y’–一般分布密度

平稳(T5)

参数平稳(T5)取决于根据频度柱形图，是指对正常分布的现频度柱形图的相似性。频度柱形图对正常分布具有高度相似性就意味着高度水准的平稳。与正常分布的大差异就意味着平稳参数很低。

【数学式7】

K-最初直方图的正常化相关系数

y’–一般分布密度

感召力(T6)

参数感召力(T6)取决于头部和脸部的细微移动对称程度。当移动(频度和振幅)对称显示为最大值时，其意味着感召力(或魅力)很高。

【数学式8】

W：对象帧尺寸

li：对象帧的左侧列的帧尺寸

ri：对象帧的右侧列的帧尺寸

C：对象帧的颜色

能量(T7)

参数(T7)取决于频度柱形图，是指脸部和头部的振动频度标准误差与振动频度密度之间的最大的差值。频度值越高，且标准差或振动分散程度越低，能量值越高。

【数学式9】

M：对于对象的现帧的气氛(aura)的颜色尺寸

Fps：每个秒的帧数

σ：对象气氛的平均颜色尺寸

自控(T8)

参数自控(T8)是指现在的肯定性情绪的总数值，所述自控(Self-regulation)为均衡的参数值和感召力参数值(P17)的平均。

【数学式10】

K-最初直方图的正常化相关系数

y'-正常分布密度

y’-一般分布密度

遏制(T9)

参数遏制(T9)既是指在整体测量的心理生理学的状态参数(T1～T10)中唯一的实质性生理学的数值(每秒的时间)，也是指在最少时间中对特定事件(动因)的反应。反应时间越长，其意味着遏制得越好。

遏制(T9)显示两帧之间的像素亮度差的振幅(Da)的计算周期，Da被表示为以下式。

【数学式11】

Ca-指定范围内的像素数

I-像素的亮度值

i-像素数

神经官能症(T10)

参数(T10)是指在变化时间中(沉默的60秒)测量的遏制程度的扩散分布(标准差)。遏制分布度越高，其意味着心理生理学的状态越不稳定，自然神经过敏(神经官能症)症状也显得越高。这种神经官能症(T10)具有所述遏制的值(T9)的标准差的10倍的值。

以下考察本发明的实验方法。

依据公司内部的指南，本发明的研究的目的在于在提前检查定期轮班工作者的层面以工作的劳动者为对象来识别心理生理学适应拒绝，从而以有系统地评估心理生理学诊断结果的方式进行本发明的研究。但是，心理生理学的诊断具有得花平均两个小时，且应附上记录装置等限制，因此在及时的康复治疗法的层面适用了识别与心理生理学反应拒绝有关的人物的非触摸技术。本发明的方法分析人的头部和脸部部位的反应移动参数。

以前庭系的活动操作的头部部位的竖直平行维持为前庭反射的特征功能，与此同时在头部部位发生细微移动。这种现象事实上由于与人的头部部位的移动参数以及精神情绪状态有关，因此被称为前庭-情绪反射(Vestibular-Emotional Reflex)。

以人体学基本资料为基础分析头部移动的轨道与以保罗·艾克曼和弗里德兰所提示的多种脸部的细微震颤为基础分析人的情绪之间存在很大的区别。尽管脸部的细微震颤显示整体或一时的情绪状态，但与在测谎时应用的血压、皮肤电反应、心电图不同，不测量持续的心理生理学的过程，因此在自动分析情绪时其效果较低。当头部部位细微地移动时，空间因素与所有情绪和心理生理学的状态变化关联。

当以非触摸的方式诊断心理生理学的脑疲劳状态时，为了有效地评估本发明，对于从事于核电站的劳动者进行了心理生理学的诊断。研究方法包括明尼苏达多相人格测验(MMPI)、卡特尔的16PF、瑞文、LSC等的心理诊断测试和单纯而复杂的与手-脚反应相关的心理生理学的评估、与对移动物体反应相关的生理学评估、生理学的心率变异性评估、动压测量方法等的研究方法，并记录了对研究对象的人体测量学特性。根据本发明，现每个受试者需要平均两个半小时的检查时间缩短为了1分钟左右。

表1显示所述参数(T1-T10)的因子分析(Factor Analysis)结果。众所周知，因子分析是为了以较少的因子说明多个变量之间的关系而导出的分析方法。

【表1】

因子F1与攻击性(T1)、危险性(T4)参数否定性关联。肯定性参数为感召力(魅力，T6)，能量和自控较低水准地有意义。新设定的整合特性反映了压力(T2)程度。压力数值低就意味着压力程度低，则压力数值高却意味着压力高。此时，压力程度越低，能量和自控参数越高。感召力(魅力)参数是指与压力相反的特性，无压力的时候该数值更高一些。这种特性是指内在心理生理学状态的稳定性。

因子F2与不安感(T3)参数肯定性关联，而与遏制(T9)和神经官能症(T10)参数否定性关联。显示高遏制分布度意味着心理生理学的状态处于不安状态，因此神经过敏水准显示为较高。即，显示高遏制和神经官能症数值就意味着心理生理学特性不好，这就代表心理生理学状态实质上不稳定。因此，F2因子显示心理生理学状态的稳定程度。

因子F3与攻击性(T1)、危险性(T4)、能量(T7)参数肯定性关联。这些组合是指心理生理学功能的活性化程度，并显示心理生理学功能的动员和人体器官的心理生理学耗尽程度。

因子F4与平稳(T5)和自控(T8)参数肯定性关联。该因子显示保持平静和对于日常生活变化的内在控制能力。

按照如上所述的因子(因子)分析结果，作为根据本发明的评估实质的心理生理学的脑疲劳状态的四个新的指标，获得了心理生理学压力水准(F1水平：L1)、心理生理学状态稳定水准(F2水平：L2)、心理生理学功能活性化水准(F3水平：L3)和心理生理学平稳水准(F4水平：L4)。

以检查心理生理学的脑疲劳状态的硬件和软件系统进行了心理生理学的脑疲劳状态研究结果的分析，可知百分之十八的受试者中的心理生理学适应度较低。

以通过表1的因子分析(Factor Analysis)获得的四个因子F1、F2、F3、F4为基础算出实际因子得分(Factor Score)的因子得分系数矩阵如下。

【表2】

以下表3显示将拒绝(代码1)和遵守(代码0)心理生理学适应的人的心理学、心理生理学、生理学功能特性化的平均值(p〈0.05)。统计显著性以学生T分布进行了评估。

【表3】

为了提高可读性，出于便利，表3分割为上中下3个部分。参见所述表3，对于显示出拒绝心理生理学适应迹象的人而言，显得智能水准较低，学会较慢，难以理解新的信息，以表面上的意义来理解某句话。而可知，他们变通，表示多种情绪，想象力很丰富。他们以内在不安感、担心、顾虑为否定性情绪。他们行动不稳定，可朝向否定性方向，也可以显示较大的兴奋状态。且，他们控制水准较低。就生产率而言，可知他们将自己的失败转移给上部机关、上司为特征这一事实。生产率很低，且主要是中枢神经系统功能状态处于下降。

血液循环系统功能是指不适应。自律神经系恒常性的特征在于反映人体器官调节机制的高紧张度的自律神经系的交感神经系统反应。

根据差别分析结果，通过应用从振动图像的整合参数而对拒绝心理生理学适应的人的识别具有高度准确性。该结果由分类矩阵可知。

准确的分类平均值为98.8％。将心理生理学不适应者识别为无症状的准确度为100％，而识别出具有不适应症状的人的准确度为91.2％。

以威尔克斯lambbda(Wilks's lambbda)值评估根据本发明的方法的系统的指标信息性，结果显示，第一信息性指标为平稳水平(Lambda＝0.82，р＝0.000000)，第二信息性指标为压力水平(Lambda＝0.54，р＝0.000000)，第三信息性指标为稳定性水平(Lambda＝0.38，р＝0.035)。对于活动性水平指标而言，与对照组相比，显示为无变化(Lambda＝0.35,р＝0.52)。

结果可知，因内外的因子而引起的人的心理学、心理生理学、生理学反应反映在从振动图像获得的指标上这一事实。

本发明的评估方法可以应用为作为在最短时间内能够评估劳动者的心理生理学不适应与否的方法。测试仅需要1分钟左右。在形式上评估标准的层面，适用了根据功能状态分层化方法的标准判别函数。在几何学层面，可以视为将具有根据整合指标的心理生理学不适应迹象的受试者和不具有根据整合指标的心理生理学不适应迹象的受试者多维地区分的最佳方法，以此为条件命名为‘脑疲劳’指数，计算公式如下。

【数学式12】

R＝(0.8608)×L1)+(0.333×L2)+(0.104×L3)+(1.129×L4)

L1：压力(F1)水平

L2：稳定性(F2)水平

L3：活动性(F3)水平

L4：平稳(F4)水平

用通过以普通人为对象进行的实验而累积的10个参数(T1-T10)的平均(mean)和标准差(standard deviation)，使用为为将10个参数值变换为标准单位(平均0，标准差1)的标准值。

以下表4为对于10个参数(T1-T10)的因子得分系数矩阵(Factor ScoreCoefficient Matrix)。

【表4】

例如，当某一受试者10个参数(T1-T10)的测量值等于以下表5时，如将其变换为标准单位(平均0，标准差1)变换值，其计算为表6。

【表5】

结合某一受试者的参数的标准单位变换值和4个因子得分系数而算出4个因子得分，以可获得表7。

以下表7显示4个因子得分系数和测量值的标准单位变换值。

【表7】

结果，如表8所示，可以获得以统计方法来计算的4个因子得分(Factor Score)。

【表8】

用如前所揭示的脑疲劳指数(R)的计算式来算出某一受试者的脑疲劳指数如下。

R＝(0.8608×L1)+(0.333×L2)+(0.104×L3)+(1.129×L4)

其中，L1＝-1.8625、L2＝-0.072、L3＝-0.7515，以及L4＝-1.2246

因此，脑疲劳指数(R)为-3.0875(R＝-3.0875)。

在所述的脑疲劳指数(R)的计算式(规则库)中标准化比例用标准判别分析而定。为了实质平价，按照‘脑疲劳指数(R)’生成了如图2所示的计算对象的心理生理学不适应可能性的概率累积曲线。

在水平轴上显示特定对象的脑疲劳指数(R)计算数值，从计算值竖直上升而与被确定为S曲线的值连接。当被判定为存在心理生理学不适应危险的可能性时，点倾向于向垂直轴连接。

上述计算法以当‘脑疲劳指数’＝-2时，心理生理学不适应可能性为0.927(92.7％)为准。

按照确定脑疲劳指数的式算出的脑疲劳状态被区分为‘特健康、健康、注意、危险’阶段。‘注意’阶段的脑疲劳指数为具有小于-2(Negative Value)而大于-5的值的区间。脑疲劳度处于具有越大的负(-)方向的值的“危险状态”，T1(攻击性)、T2(压力)、T3(不安感)、T4(怀疑)的测量值高于平均值。

已证明了可以将应用振动图像的技术成功应用于从事于核电领域的劳动者的提前和定期体检，特别地，本技术在非触摸式和效率层面，相对于现有的心理生理学状态评估法，更加方便，更加优越。

作为振动图像技术应用的肯定性成果，研发了提前检查受试者，如核电站的轮班工作者的心理生理学的脑疲劳状态的用振动图像的脑疲劳评估应用。

工作许可取决于劳动者目前的压力程度(F1)、在诊断时心理生理学状态稳定度(F2)、心理生理学功能活动化程度(F3)、平稳程度(F4)等的从振动图像的指标(Index)。

首先，如图6所示，以视频相机拍摄受试者人体的整体或一部分，例如上半身，然后从此如图1所示提取振动图像。以如前所述的提取参数方法从图像提取多个振动参数(T1～T10)。从所述参数的值，通过因子分析提取多个因子(F1～F4)分数。将所提取的因子得分适用于规则库，以计算出脑疲劳指数。将脑疲劳指数与既定标准值相比，判断脑疲劳发生程度。

该方法可以被如图6所示结构的装置体现。图6为将评估脑疲劳的装置的功能示意图。参照图6，根据本发明的生理信号检测装置包括拍摄受试者(1)的相机(21)、分析相机所获得的视频而提取振动图像的处理单元(22)、用来自视频处理单元(22)的振动图像而提取振动参数的值的信号分析单元(23)，以及从来自信号分析单元(23)的参数计算因子得分来计算受试者的脑疲劳指数(R)，并用此评估脑疲劳的脑疲劳评估单元(24)。

至此，描述了多种较佳的实施例，并以附图图示。但是，这些实施例应仅理解为多种实施例的一部分。因为所属领域的技术人员可以进行其他改造。