公开/公告号CN106447184A
专利类型发明专利
公开/公告日2017-02-22
原文格式PDF
申请/专利权人 中国人民解放军国防科学技术大学;
申请/专利号CN201610838299.7
申请日2016-09-21
分类号G06Q10/06(20120101);G06N3/02(20060101);G06K9/00(20060101);A61B5/01(20060101);A61B5/024(20060101);
代理机构11429 北京中济纬天专利代理有限公司;
代理人陈立新
地址 410073 湖南省长沙市开福区德雅路109号
入库时间 2023-06-19 01:36:59
法律状态公告日
法律状态信息
法律状态
2019-04-05
授权
授权
2017-03-22
实质审查的生效 IPC(主分类):G06Q10/06 申请日:20160921
实质审查的生效
2017-02-22
公开
公开
技术领域
本发明涉及无人机系统技术领域,具体涉及一种基于多传感器测量与神经网络学习的无人机操作员状态评估方法。
背景技术
随着无人机自动化程度的提高,操作员对无人机的控制由低级的基于行为的控制转变为高级的基于知识的控制,这种基于知识的控制就是监督控制。在监督控制中,飞行控制是由系统自动完成的,操作员主要是负责高层的任务管理和载荷管理。传统指挥控制一架无人机经常需要多个操作员,监督控制则使得单个操作员控制多架无人机成为可能,一方面平台自动化程度的提高为这种转变提供了技术支持,另一方面网络中心战要求平台间的交互为这种转变提供了动力。在执行任务过程中地面站操作员仍然拥有操纵飞机的最终决定权,无人机系统仍属于人在回路的系统,其作战使用离不开人的指挥控制,大量的显示信息及控制需求使地面站操作员的工作负荷和操作难度增大容易导致误判和误操作。
公开号为101868284A的专利文献提出一种用于基于传感器测量来提供交互性的方法及系统,是一种用于客人的传感器测量来向体验场所的客人提供交互性的系统。公开号为105082150A的专利文献,公开了一种基于用户情绪及意图识别的机器人人机交互方法,利用生物信号、面部表情以及利用语音交互实现人机交互,主要用于老人和小孩等使用者。公开号为105292476A的专利文献公开了一种无人机的控制方法及系统,利用脑电波判断无人机操作员大脑是否清醒。
因此,从多传感器测量角度,研究无人机操作人员工作状态,为更好的监督控制多无人机系统提供依据。
发明内容
本发明提出了一种基于多传感器测量与神经网络学习的无人机操作员状态评估方法。多传感器主要包括测量操作员姿态、面部表情、眼动跟踪、体温,心率的传感器,以及人脑意念的传感器。利用这些传感器获取操作员状态信息,构建多维特征空间样本库。根据不同操作员的样本,用神经网络进行训练和学习,建立与上述传感器特征与语义之间的映射关系,从而估计出操作员的决策等级。该方法适用于具有不同熟练程度的各种层次的无人机操作员,可以更加直观的掌握操作员的实时状态,估计操作员当前是否适合该任务,以及对任务可做出相应的调整。
一种基于多传感器测量与神经网络学习的无人机操作员状态评估方法,包括以下步骤:
步骤一:传感器测量
利用温度传感器检测操作员的体温,用于监测操作员不同情绪变化下的体温分布情况。利用心率传感器检测操作员的心率,用于监测操作员不同状态如兴奋、疲劳状态下的心率变化。利用人体动作、姿态检测的深度图像传感器检测操作员的姿态行为,用于监测操作员不同行为状态下的姿态变化。利用面部表情的可见光图像传感器检测操作员的面部表情,根据面部表情的变化检测操作员的心情状态。利用眼动仪传感器检测人的眼睛关注度,以及根据眼睛的闭合情况检测眼睛疲劳状态。利用人脑意念传感器检测操作员是否注意力集中。
步骤二、利用上述传感器获取的操作员状态信息,构建多维特征空间样本库;根据不同操作员的样本,设计相应的神经网络训练学习感知器,建立与上述传感器特征与语义之间的映射关系。
1)首先构建多维的特征空间样本库
人脑意念和眼动跟踪可以输出操作员的关注度,体温和面部表情可以输出操作员的心情,姿态可以判断操作员的肢体行为,心率、眼动跟踪以及姿态可以输出操作员的疲劳度。
基于上述状态信息确定操作员状态特征输入矢量X(人脑意念x1,眼动跟踪x2,体温x3,面部表情x4,姿态x5,心率x6)。
同时,确定操作员状态特征目标矢量T(关注度T1,心情T2,肢体行为T3,疲劳度T4)。
2)设计相应的神经网络训练学习感知器
①确定输入矢量X,目标矢量T,并由此确定各矢量的维数,r为输入矢量P的维数,r=6;s为目标矢量T的维数,s=4;确定网络结构大小的神经元节点数目q=44。
其数学模型可表示为
Y为神经元输出,f为神经元非线性激励函数,X=(x1,x2,...,x6)为神经元输入,W=(ω1,ω2,...,ω6)为权矢量,其中包含多个权值,θ为神经元激活阈值。
②参数初始化,赋给权矢量W在(-1,1)的随机非零初始值,给出最大训练循环次数。
③网络表达式:根据输入矢量X以及跟新权矢量W,计算网络输出矢量Y。
④检查:检查输出矢量Y与目标矢量T是否相同,如果是,或已达最大循环次数,训练结束,否则转入⑤。
⑤学习,根据下式所示,感知器的学习规则调整权矢量W,并返回③。
W=W+EPT
θ=θ+E
此处E为误差矢量,E=T-Y。
3)最后建立与上述传感器特征与语义之间的映射关系:
首先对状态模型进行语义量化;
选择很多对形容词用于建立操作员状态模型形容词集,形容词集如表1所示:
表1
针对表1中的各个形容词队,如“疲劳的–平静的”,将其分为四个等级进行评价,其评价可以是重度疲劳,轻微疲劳,良好,非常良好,分别对应的边界条件为t43,t42,t41,当疲劳度T4大于操作员设定的阈值时T4>t43,操作员重度疲劳,当T4小于操作员设定的阈值时T4<t41,操作员状态非常良好;同样的,将其他各形容词队分别将其分为四个等级进行评价。
然后建立状态空间;
首先获得各测试用户对某一状态m的第n对形容词的评价量化值,再对某一状态m的第n对形容词量化值求平均,获得一维矩阵Ym=[ym1,ym2,...,ymn],并按照公式进行标准化,得到矩阵Xm;
式中
设E为公共因子矩阵,Z为载荷矩阵,其中
式中,公共因子矩阵E的第m行em=(em1,em2,...,emn)对每一操作用状态m在状态空间的坐标,载荷矩阵Z的第n行Zn=(Zn1,Zn2,...,Znk)对应形容词n在K维空间的坐标。
再设U为独特因子,D作为独特因子的权值,为对获得的矩阵X按公式做因子分析:
X=EZ'+UD
通过以上步骤,将原先的N维操作员的状态空间降至K维,形成K维的正交状态空间,建立形容词与操作员向量的映射。
步骤三:构建语义组合构建的树形结构,给出操作员的状态评估,估计操作员当前是否适合该任务,以及对无人机任务控制站任务可做出相应的调整。
构建语义组合构建的树形结构,从叶子节点开始,按照树所表示的节点层次关系,从底层叶子节点开始逐层向上进行有序的组合,最终得到整个句子的语义表示。然后根据上述的语义量化,操作员关注度T1,心情T2,肢体行为T3,疲劳度T4,采用D-S证据决策,操作员的状态评估为Q:
λi为各种状态的权值系数,其中λ1*T1+λ2*T2+λ3*T3+λ4*T<1;
最后给出操作员的状态评估,估计操作员当前是否适合该任务,以及对控制站任务可做出相应的调整。当Q大于操作员设定的阈值时Q>Q1时,操作员不适合该任务,控制站自动处理该任务,并且提醒操作员该休息下;当Q0<Q<Q1时,操作员只适合部分该任务,控制站自动处理该任务,然后提示操作员确认该任务;当Q<Q0时,操作员适合该任务,控制站把该任务全权交给操作员。
本发明提出了一种基于多传感器测量与神经网络学习的无人机操作员状态评估方法,建立与上述传感器特征与语义之间的映射关系,从而估计出操作员的决策等级。该方法便于更加直观地掌握操作员的实时状态,估计操作员当前是否适合该任务,以及对任务可做出相应的调整。由于采用了神经网络的学习方法,可建立不同操作员的特征空间,因此,适用于具有不同熟练程度的各种层次的无人机操作员。
附图说明
图1为本发明的流程图,
图2为各个传感器输出操作员的各种状态,
图3为神经网络结构图,
图4句子组合关系树状层次图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明。
本发明旨在提供一种基于多传感器测量与神经网络学习的无人机操作员状态评估方法,建立与上述传感器特征与语义之间的映射关系,从而估计出操作员的决策等级。该方法便于更加直观地掌握操作员的实时状态,估计操作员当前是否适合该任务,以及对任务可做出相应的调整。由于采用了神经网络的学习方法,可建立不同操作员的特征空间,因此,适用于具有不同熟练程度的各种层次的无人机操作员。下面结合附图,说明本方法的具体实施方式。
如图1所示为本发明的流程图。无人机操作员状态特征提取主要通过多种传感器检测无人机操作员的各种状态信号。传感器包括用于操作员体温检测的温度传感器,用于监测操作员心率的心率传感器,用于操作员人体动作、姿态检测的深度图像传感器,用于检测操作员面部表情的可见光图像传感器,用于操作员眼睛关注度和眼睛疲劳检测的眼动仪传感器,以及用于操作员人脑意念检测的人脑意念传感器。
操作员的体温检测可以检测不同情绪变化下的体温;心率传感器检测人的心率变换,如在兴奋、疲劳状态下人的心率不同;人体动作、姿态检测传感器检测姿态行为,处于不同状态的人,表现的姿态上也有可能不一样;面部表情的传感器可以检测操作员心情状态,比如开心,愤怒等;眼睛关注度传感器检测人的关注度,也可以检测疲劳状态;人脑意念传感器主要检测操作员是否注意力集中。
通过上述多种传感器获得这些特征量化后,根据不同操作员的样本,在基于神经网络的学习方法上进行训练,建立与上述传感器特征与语义之间的映射关系,该映射关系主要是利用训练中的数据库、知识库、规则库转化的数值符号和语义概念合成,利用这些特征量化值作为特征输入,通过语义输出操作员各种状态,估计该状态下的操作员适合该任务的等级。最后无人机任务控制站系统以语义的方式反馈回操作员,使得操作员更加直观的掌握实时的状态信息。
1)首先构建多维的特征空间样本库
图2为各个传感器输出操作员的各种状态,其中根据人脑意念和眼动跟踪可以输出操作员的关注度,体温和面部表情可以输出操作员的心情,姿态可以判断操作员的肢体行为,心率、眼动跟踪以及姿态可以输出操作员的疲劳度。然后根据这些状态输出操作员的状态负载等级,最后根据负载等级无人机任务控制站提示因该给予操作员的任务等级。
因此,基于上述状态信息确定操作员状态特征输入矢量X(人脑意念x1,眼动跟踪x2,体温x3,面部表情x4,姿态x5,心率x6),操作员状态特征目标矢量T(关注度T1,心情T2,肢体行为T3,疲劳度T4)。
语义网是如何把特征向量构建神经网络的语义基础,如图3所示为神经网络结构图,语义网是基于有向图描述事物、概念、属性、动作、状态及其之间的关联关系的知识表示模式。在上文中获得的目标图像特征,用语义网理论加以描述,分析目标图像特征信息与其内容之间的内在关联关系。建立目标图像知识表示模式,为神经网络学习图像语义提供支持。神经网络信息存储分布在连接权值上,使网络局部输入信息的不准确并不会影响网络输出的正确性,具有较高的容错性和鲁棒性。每个神经元根据接收输入信息独立运算,输入下层处理,具有并行处理信息能力。神经网络将信息处理和信息存储分离,反映了网络对信息的记忆联想能力。
2)设计相应的神经网络训练学习感知器
①确定输入矢量X,目标矢量T,并由此确定各矢量的维数,r为输入矢量P的维数,r=6;s为目标矢量T的维数,s=4;确定网络结构大小的神经元节点数目q=44。
其数学模型可表示为
Y为神经元输出,f为神经元非线性激励函数,X=(x1,x2,...,x6)为神经元输入,W=(ω1,ω2,...,ω6)为权矢量,其中包含多个权值,θ为神经元激活阈值。
②参数初始化,赋给权矢量W在(-1,1)的随机非零初始值,给出最大训练循环次数。
③网络表达式:根据输入矢量X以及跟新权矢量W,计算网络输出矢量Y。
④检查:检查输出矢量Y与目标矢量T是否相同,如果是,或已达最大循环次数,训练结束,否则转入⑤。
⑤学习,根据下式所示,感知器的学习规则调整权矢量W,并返回③。
W=W+EPT
θ=θ+E
此处E为误差矢量,E=T-Y。
3)最后建立与上述传感器特征与语义之间的映射关系.
操作员各种状态模型建立。操作员各种状态模型的建立主要包括两步,一是对状态模型进行语义量化,二是建立状态空间。选择很多对形容词用于建立操作员状态模型形容词集,形容词对如表1所示:
表1形容词集
针对表1中的各个形容词队,如“疲劳的–平静的”,将其分为四个等级进行评价,其评价可以是重度疲劳,轻微疲劳,良好,非常良好,分别对应的边界条件为t43,t42,t41,当疲劳度T4大于操作员设定的阈值时T4>t43,操作员重度疲劳,当T4小于操作员设定的阈值时T4<t41,操作员状态非常良好。同样的,将其他各形容词队分别将其分为多个等级进行评价。如将关注度T1分为高度集中、集中、关注度低、没关注四个等级,分别对应的边界条件为t13,t12,t11,当关注度T1大于操作员设定的阈值时T1>t13,操作员没关注,当T1小于操作员设定的阈值时T1<t11,操作员高度集中。同理可将心情T2分为中性、厌恶、愤怒三个等级,将肢体行为T3分为直视、低头、换动三个等级。
然后建立状态空间:首先获得各测试用户对某一状态m的第n对形容词的评价量化值,再对某一状态m的第n对形容词量化值求平均,获得一维矩阵Ym=[ym1,ym2,...,ymn],并按照公式进行标准化,得到矩阵Xm;
式中
设E为公共因子矩阵,Z为载荷矩阵,其中
式中,公共因子矩阵E的第m行em=(em1,em2,...,emn)对每一操作用状态m在状态空间的坐标,载荷矩阵Z的第n行Zn=(Zn1,Zn2,...,Znk)对应形容词n在K维空间的坐标;
再设U为独特因子,D作为独特因子的权值,为对获得的矩阵X按公式做因子分析:
X=EZ'+UD
通过以上步骤,将原先的N维操作员的状态空间降至K维,形成K维的正交状态空间,建立形容词与操作员向量的映射。
语义组合构建,由于语义组合构建需要使用到文本不同成分之间的语义表达的组合关系,故需要把上述工具分析得到的结果按照分析器定义的依存关系次序进行变换,就可以得到整个句子的组合关系树状层级图,如图4所示。按照图4所示的树状结构,从叶子节点开始,按照树所表示的节点层次关系,从底层叶子节点开始逐层向上进行有序的组合,最终得到整个句子的语义表示。文中对上图树中两个子节点进行组合。然后根据语义组合构建的树形结构,利用神经网络学习的结果填充不同类型的语义词,最后给出操作员的状态评估,估计操作员当前是否适合该任务,以及对任务可做出相应的调整。采用D-S证据决策,操作员的状态评估为Q。
λi为各种状态的权值系数,其中λ1*T1+λ2*T2+λ3*T3+λ4*T<1。
最后给出操作员的状态评估,估计操作员当前是否适合该任务,以及对控制站任务可做出相应的调整。当Q大于操作员设定的阈值时Q>Q1时,操作员不适合该任务,控制站自动处理该任务,并且提醒操作员该休息下。当Q0<Q<Q1时,操作员只适合部分该任务,控制站自动处理该任务,然后提示操作员确认该任务。当Q<Q0时,操作员适合该任务,控制站把该任务全权交给操作员。
对不同时刻下无人机操作员的状态进行检测,检测疲劳、心情、表情、关注度以及行为,建立特征矩阵X,然后根据语义组合已经构建的语义网络采用神经网络学习方法,构建语义学习的结果。当操作员操作时间越长时,操作员的状态会变的不好,最后根据所有操作员的状态利用D-S证据决策对数据的融合估计操作员是否适合该任务或者操作。该语义学习的结果如表2所示。可以看出,操作员连续工作的时间越长,精神状态越差,当操作员连续工作1小时左右,操作员就不太适合该任务的操作,或者需要更换其他的任务,或者休息。
表2神经网络语义学习不同时刻的无人机操作员状态
机译: 仅基于手眼人类反应的基于时间测量准则的人类中枢神经系统功能状态评估方法
机译: 基于刚度矢量空间投影最大化的大型高速旋转设备测量与神经网络学习调控方法及装置
机译: 基于刚度矢量空间投影最大化的大规模高速旋转设备测量与神经网络学习调控方法及装置