一种基于多特征融合的空中交通管制员认知负荷评估方法

摘要

本发明公开了一种基于多特征融合的空中交通管制员认知负荷评估方法。通过弱接触性设备采集心率、语音和眼动数据，并提取所有数据的管制负荷评估指标；基于CNN Transformer自注意力网络，第一分支网络提取心率和眼动深度特征，第二分支网络提取深度语音时空特征，并对提取到的特征进行融合和分类，并进行模型训练；最后应用模型，向网络模型输入所需识别的数据，模型输出相应的认知负荷水平。本发明方法通过使用多模态特征融合的深度学习方法，采用眼动指标、心脏活动指标和语音指标综合评估管制员的认知负荷；通过弱接触性设备采集数据，并使用注意力机制提高模型准确性，使得数据采集更加侵入性小、敏感性低、可靠性高、实用性佳。

说明书

技术领域

本发明涉及空中交通管制领域，特别涉及一种基于多特征融合的空中交通管制员认知负荷评估方法。

背景技术

空中交通管制是一项高风险的工作，需要持续获取信息、分析、评估和决策。民航局统计数据显示，由于管制员的因素造成的空管事故和事故症候以及空管不安全事件高达70%以上。这证实了人为因素已经发展成为影响航空安全的主要因素。

认知负荷是指管制员在短时间内接收、保持、加工飞机信息的“心理能量”的水平。认知负荷体现在管制员在监控飞行动态时所进行的情境意识保持、交通动态分析、冲突判断、制定调配预案、预案实施监控等心理活动。随着空中交通流量的增加，空中交通管理日益复杂，空中交通管制员普遍承受着巨大的认知负荷，这将严重影响整个人机系统的可靠性及工作效率，进而影响飞行安全。为了降低这种风险，至关重要的是为管制员保持合理的工作量，以减少可能危及安全的错误的可能性。

目前，空中交通管制员的认知负荷评估方法可以总结归纳为三类：任务评估法、主观评估法以及生理评估法。任务评估法，也称为任务绩效测量法，该方法最为主要的可量化客观参数即为时耗，通过对管制员执行某项管制指挥任务的时耗进行独立重复统计，使用时耗大小反映空中交通管制员工作负荷，但是该方法对测量指标权重赋值过程主观性较高，因此无法客观评价管制员工作负荷。主观评估法则是使用主观的等级制度让管制员根据紧张度、压力、操作难度等心理负荷进行主观评估，该方法以被试者填写调查表的形式进行，但主观评估测量的认知负荷是被试者对某项任务的一种主观感觉，且这种感觉因人而异，可能与真实的认知负荷值有所出入。生理评估法是指通过测量管制员在工作过程身体所产生的生理变化来评价其认知负荷，但是该方法需要使用测量仪器获取数据，对实验设备要求高，对被试者接触性较强，需要在特定的实验环境进行试验，同时在指标选取上面难度较大。

近年来，基于生理指标测量管制员认知负荷成为研究热点，目前常用的生理指标有脑电分析指标、心脏活动分析指标、眼动分析指标和语音分析指标。由于脑电分析指标需要在被试者头上带一些测试仪器，对管制员的正常操作有一定的影响，可能会影响结果的准确性，并且实验数据复杂，需要专业人员分析。而且，认知负荷的变化必然会引起多种生理指数的波动，单一的生理技术或指标准确性不高、误差较大，建立的模型也比较单一，尤其对于个人差异这一情况考虑欠缺。

发明内容

本发明的目的在于克服现有技术中所存在的上述不足，提供一种基于多特征融合的空中交通管制员认知负荷评估方法。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于多特征融合的空中交通管制员认知负荷评估方法，包括如下步骤：

步骤1：通过弱接触性采集设备，获取、记录被采集人的心率数据、语音数据与眼动数据；

步骤2：将所述步骤1获得的数据，提取管制负荷评估指标；

步骤3：基于CNN Transformer自注意力网络构建网络模型，提取深度特征，并将所述深度特征融合、分类；使用所述步骤2获取的所述管制负荷评估指标训练模型，获得最佳的模型参数；

步骤4：应用模型，向所述网络模型输入所需识别的所述心率数据、所述语音数据与所述眼动数据，模型输出相应的认知负荷水平。

本发明方法提出了一种基于多模态特征融合的空中交通管制员认知负荷评估方法，通过弱接触性设备采集多模态数据，提取特征后，采用特征级融合，并引入自注意力机制以融合不同生理特征，最终实现低侵扰、实时的管制员认知负荷评估。

优选地，所述步骤1中，所述采集设备包括：监测手环、录音设备、非接触式眼动仪。

本发明使用监测手环、录音设备、非接触式眼动采集、记录心率数据、语音数据与眼动数据三类指标评估管制员认知负荷，可综合评估管制认知负荷。

优选地，所述步骤2中，所述管制负荷评估指标包括：心率、语音梅尔频谱图、眨眼频率、扫视频率和瞳孔直径。

本方法使用弱接触性设备实时记录各管制负荷测试指标对应的指标数据，管制负荷评估指标较为全面，使得本发明的评估方法具有实时性和准确性。

优选地，所述步骤2中，使用腕表设备提取所述心率数据；使用librosa库提取所述语音梅尔频谱图；所述眨眼频率=眨眼次数/试验时间；所述扫视频率=扫视次序/试验时间；使用眼动仪获取瞳孔直径。

本发明通过腕表设备采集心率、通过无接触式眼动仪采集眼动指标数据、通过语音记录设备采集语音指标数据，在不影响管制员工作指挥的情况下完成各管制负荷测试指标采集，较为便捷实用。

优选地，所述步骤3中，基于CNN Transformer自注意力网络构建网络模型，所述网络模型包含两个分支网络。

优选地，所述步骤3中，第一分支网络包含若干个单头自注意力网络；第二分支网络包括：若干个3x3的卷积层、若干个2x2的最大池化层和若干个4x4的最大池化层；还包括若干个2x4的最大池化层和若干个Transformer编码器。

神经网络技术使得对各种多模态特征进行有效地融合成为可能，通过建立深度学习模型可以识别和利用多个输入特征之间的复杂关系，从而更准确地评估个体的认知负载。

优选地，所述步骤3包括以下步骤：

步骤301、构建第一分支网络，包含若干个自注意力网络，将步骤2提取的所述心率数据和所述眼动数据输入网络中提取深度特征；

步骤302、构建第二分支网络，包含多个卷积、池化层和Transformer编码器，将步骤2提取的语音梅尔频谱图输入到网络中提取深度时空特征，输入是尺寸为128×517的语音梅尔频谱图；

步骤303、对两个分支网络所得的向量以第二个维度为轴，并输入到Softmax函数中进行分类；

步骤304、使用采集到的心率、语音和眼动数据对上述网络模型进行训练，获得最佳的模型参数。

本发明方法利用机器学习技术实现了特征的深度提取，实现了更准确的数据表征，并使用注意力机制，注意力机制能提取和关注更多有用的信息，而忽略冗余和低价值的部分，提高模型准确性。

优选地，所述步骤301中，包括：

在每个单独的自注意力块中，输入特征经过线性变换得到Q、K、V三个向量；将Q向量和V向量计算点积，并进行Softmax归一化后得到注意力权重；再将注意力权重和值向量做加权求和得到自注意力网络的输出；将得到的并行的单头自注意力网络的输出向量拼接，得到输出特征；经过若干个自注意力网络后，使用全连接层将向量转换为相应的维度。

优选地，所述步骤302中，包括：

利用conv2D_block模块，采用二维卷积神经网络来提取输入的梅尔频谱图的空间特征；利用Transformer_block模块，使用Transformer编码器提取梅尔频谱图的时间特征；梅尔频谱图经过四个堆叠的二维卷积和最大池化层后，得到深度空间特征；梅尔频谱图经过最大池化层和Transformer编码器后得到深度时间特征；将得到的深度空间特征与深度时间特征进行拼接，得到语音数据的深度特征。

优选地，所述步骤3中，使用交叉熵损失函数训练模型，数据按8：1：1的比例划分为训练集、验证集、测试集数据，样本分为低负荷样本、中等负荷样本和高负荷样本，比例为17：4：3。

与现有技术相比，本发明的有益效果：

1.本发明使用心率数据、语音指标和眼动指标三类指标评估管制员认知负荷，可综合评估管制认知负荷；且本发明使用弱接触性设备实时记录各管制负荷测量指标对应的指标数据，即实时记录心率数据、梅尔频谱图数据、眨眼频率数据、扫视速度数据、瞳孔直径数据，使得本申请的评估方法具有实时性和准确性；

2.本发明通过健康手环采集心率数据、通过无接触式眼动仪采集眼动指标数据、通过语音记录设备采集语音指标数据，设备不会对管制员的指挥造成干扰，这使得基于多模态特征融合的管制员认知负荷评估方法具有客观性，较为实用；

3.本发明采用众多交互指标，包括心率指标、语音指标和眼动指标，在对数据进行分析的基础之上，利用机器学习技术实现了特征的深度提取，实现了更准确的数据表征。通过引入注意力机制，可以更好地解决多模态特征融合的问题，使模型具有更好的泛化能力和可解释性，提高了认知负荷评估的准确性和可靠性；

4.本发明提出的一种基于多特征融合的空中交通管制员认知负荷评估方法，从侵入性、敏感性、可靠性和通用性出发，选取眼动指标、心脏活动指标与语音指标进行评估；使用耳麦、屏幕式眼动仪、腕部心电血压记录仪设备采集语音、眼部运动、心脏活动数据，最大程度地减少了对管制员的干扰，且实验数据丰富，较易分析处理，有较强的实用性；并使用注意力机制来有效提高模型在认知负荷评估任务上的准确性。

附图说明

图1为发明本实施例1的一种基于多模态融合的空中交通管制员认知负荷评估方法流程图；

图2为本发明实施例1的多模态特征融合评估方法的技术路线示意图；

图3是本发明实施例1的多模态特征融合评估方法第一分支网络的模型架构示意图；

图4是本发明实施例1的多模态特征融合评估方法第二分支网络的模型架构示意图；

图5是本发明实施例3的模型训练损失曲线图；

图6是本发明实施例3的模型训练正确率曲线图；

图7是本发明实施例3的对测试集测试得到的混淆矩阵图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

本实施例提供了一种基于多特征融合的空中交通管制员认知负荷评估方法，如图1和图2所示，包括如下步骤：

步骤1：通过弱接触性采集设备，获取、记录被采集人的心率数据、语音数据与眼动数据；

步骤2：使用所述步骤1获得的数据，提取管制负荷评估指标；

步骤3：基于CNN Transformer 自注意力网络构建网络模型，提取深度特征，并将所述深度特征融合、分类；使用所述步骤2获取的所述管制负荷评估指标训练模型，获得最佳的模型参数；

步骤4：应用模型，向所述网络模型输入所需识别的所述心率数据、所述语音数据与所述眼动数据，模型输出相应的认知负荷水平。

具体的：

1、所述步骤1中，依据实际空中交通管制任务的工作环境，确定用于测量管制员认知负荷的测量指标为眼动指标、心脏活动指标和语音指标：

眼动行为也反映出获取信息过程中不同的处理过程，管制员自身认知负荷的高低会直接影响眼动行为获取的信息，进而会通过交叉的信息获取反作用于管制员的收集信息水平；

大脑活动随着心脏活动周期的变化而变化。心率的变化已被证明与人类情绪状态的变化有关，当任务需求增加或引入额外的记忆负荷时心率会增加；

语音是一个包含大量信息的复杂信号，已被认为是衡量用户认知负荷的一种潜在方式。随着认知负荷的增加，许多语音特征会发生变化，包括提高清晰度，使用较短的话语，以及减少沉默停顿的次数。

且使用的采集设备包括：监测手环、录音设备和非接触式眼动仪。

2、所述步骤2中，所述管制负荷评估指标包括：心率、语音梅尔频谱图、眨眼频率、扫视频率和瞳孔直径。使用腕表设备提取所述心率数据；使用librosa库提取所述语音梅尔频谱图；瞳孔直径持续4帧为0时表示被试眨眼，统计事件发生次数，所述眨眼频率=眨眼次数/试验时间；扫视次序（眼动仪获得）反映扫视活动发生次数，所述扫视频率=扫视次序/试验时间；使用眼动仪获取瞳孔直径，眼动仪获取每帧的瞳孔直径，一分钟内求均值得到瞳孔直径。在不影响管制员工作指挥的情况下完成各管制负荷测试指标采集。

3、所述步骤3包括以下步骤：

步骤301、如图3所示，构建第一分支网络，包含7个单头自注意力网络，将步骤2提取的所述心率数据和所述眼动数据输入网络中提取深度特征；

步骤302、如图4所示，构建第二分支网络，包含4个3x3的卷积层、1个2x2的最大池化层和3个4x4的最大池化层用于提取空间特征。还包括1个2x4的最大池化层和4个Transformer编码器用于提取时间特征；将步骤2提取的语音梅尔频谱图输入到网络中提取深度时空特征；

步骤303、对两个分支网络所得的向量以第二个维度为轴，并输入到Softmax函数中进行分类；

步骤304、使用采集到的心率、语音和眼动数据对上述网络模型进行训练，获得最佳的模型参数；

步骤301具体的包括以下步骤：

输入的数据x的形状为(batch_size, channel, features, time)，其中batch_size为批量大小，channel表示通道数，数值为1，features表示采样的特征数，在该方法中数值为4，time为时间域的采样点数。

S311、调整维度，使其变为(batch_size, 4, time)，得到x1；

S312、并行的两个分离的单头自注意力网络处理输入数据x1，得到两个输出向量x2_1与x2_2，两个输出向量的维度均为(batch_size, 4, time)；

S313、将S312的两个输出向量沿第二个维度拼接，得到新的输出向量x2，其维度为(batch_size, 8, time)；

S314、并行的两个分离的单头自注意力网络处理S313得到的输出向量x2，得到两个输出向量x3_1与x3_2，两个输出向量的维度均为(batch_size, 8, time)；

S315、将S314的两个输出向量沿第二个维度拼接，得到新的输出向量x3，其维度为(batch_size, 16, time)；

S316、并行的两个分离的单头自注意力网络处理S315得到的输出向量x3，得到两个输出向量x4_1与x4_2，两个输出向量的维度均为(batch_size, 16, time)；

S317、将S316的两个输出向量沿第二个维度拼接，得到新的输出向量x4，其维度为(batch_size, 32, time)；

S318、单头自注意力网络处理S317得到的输出向量x4，得到新的输出向量x5，其维度为(batch_size, 32, time)；

S319、对其进行permute操作，将输出的形状变为(time, batch_size, 32)；

S3110、将每个时间步的输出进行平均池化操作，将输出的形状从(time, batch_size, 32)变成了(batch_size, 32)；

S3111、全连接层处理S3110的输出向量，将其转变为(batch_size, 128)；

S3112、全连接层处理S3111的输出向量，将其转变为(batch_size, 256)；

S3113、返回S3112的输出作为最终输出向量。

步骤302具体的包括以下步骤：

S321、输入的数据x的形状为(batch_size, 1, frequency, time)，其中batch_size为批量大小，1表示单通道，frequency和time分别为频域和时间域的采样点数；

S322、conv2D_block部分首先将输入数据x送入四个卷积块中，每个卷积块包含一个卷积层、批归一化、ReLU激活函数、最大池化和Dropout层。每个卷积块会将频域和时间域的采样点数减半；

S323、在卷积块结束之后，输出的形状为(batch_size, 64, frequency/32,time/128)，即64个通道，它们代表了不同的特征信息。对其进行flatten操作，得到2维张量(batch_size,64*( frequency/32) *( time/128))；

S324、并行地，Transformer_block使用了一个最大池化层将时间域的采样点数减半，将每个时刻上，不同频率上音频的采样点取最大值，输入的形状变为(batch_size, 1,frequency/2, time/2)；

S325、将其permute操作，将输出的形状变为(time, batch_size, 64)；

S326、经过了多个Transformer编码层的处理，其中每一个编码器包含一个多头注意力机制模块和两个全连接层，每个编码器会在内部通过残差连接的方式进行传递；

S327、将每个时间步的输出进行平均池化操作，将输出的形状从(time, batch_size, 64)变成了(batch_size, 64)；

S328、将从conv2D_block中得到的conv_embedding和从Transformer_block中得到的transf_embedding以第二个维度为轴进行拼接，向量维度变为(batch_size, conv_dim+transf_dim)的形状。

步骤303具体的：对两个分支网络所得的向量以第二个维度为轴进行拼接，所得结果经过一个线性层的变换，将形状变成(batch_size, num_states)，其中num_states是输出认知负荷水平的数量，也就是3，此处采用的是交叉熵损失函数，计算prediction和target之间的损失并进行反向传播优化，最终得到Softmax层中输出的概率分布。

由上述方法计算，对于获取到的帧级数据，以3秒为单位进行认知负荷水平的识别，分为低、中、高。也就是说，模型的一条输入数据，是3秒内，各帧的语音特征、眼动特征、心率特征。

第一分支网络的输入大小为(batch_size, 1, 4, 327)，输出向量的维度为(batch_size, 256)。

第二分支网络的输入大小为(batch_size, 1, 128, 517)，输出向量的维度为(batch_size, 320)。

所述步骤3中，使用交叉熵损失函数训练模型，数据按8：1：1的比例划分为训练集、验证集、测试集数据，样本分为低负荷样本、中等负荷样本和高负荷样本，比例约为17：4：3。

 实施例2

本实施例2为实际人员获取管制负荷评估指标具体过程：

1.实验人员选取：

选取20名在校管制学员作为实验被试，被试均熟练掌握模拟管制操作流程。

2.实验设备：

考虑到实际管制场景中，侵入式设备装戴更为复杂，且管制员对侵入式设备有一定的抵触，实际运行推广的难度较大，因此平台系统主要采用非侵入式眼动设备来采集管制员眼动数据。眼动仪采用的型号为Tobii Pro Fusion 250Hz，属于Tobii Pro系列，专用于对于眼动数据的采集和研究，通过发射器发射红外光源，并通过眼动追踪传感器通过明暗瞳跟踪原理，对眼动数据进行采集，采样速率高达250Hz，能够满足实验平台的需求。

考虑到管制员的生理数据也是判断管制员状态的直接指标，因此还采用了华为Watch D腕部心电血压记录仪。该设备通过了四川大学华西医院等多家三甲医院的临床验证，还取得了我国医疗器械注册证，说明该设备的数据可靠，能够用于实验平台的数据收集。

目前民航一线典型的管制场景中，管制员通过观察雷达屏幕中各类航空器的信息，从而在脑中建立对应的态势信息，通过下达指令的方式与飞行员沟通，进行管制指挥，实验使用和实际运行环境中同样的耳麦进行声音的采集。

3.获取过程：

本实施方式采用模拟雷达管制任务实验。通过改变航空器数量、冲突点个数设计不同的管制任务的场景，来实现对认知负荷水平的控制。管制员管制任务的难度随着雷达屏幕中航空器架次和冲突点个数的增加而增大，故将根据航空器架次和冲突点个数将管制任务分为低、中、高三种任务难度。考虑到不同时间段，被试者的唤醒程度可能存在差异，分别在早、中、晚时间段设置实验采集数据。

每名被试根据上述任务难度由低到高在不同时间段分别进行三组实验，实验过程中被试端坐于雷达屏幕前按常规流程进行管制操作，且通过眼动仪实时记录被试眼动数据，腕表记录心率数据，耳麦记录通话数据，具体的实验流程：

调试阶段：时间十分钟，内容包括设备调试、佩戴生理采集仪器和讲解实验流程和量表；

适应阶段：时间十五分钟，内容包括执行预管制任务适应实验环境；

静坐阶段：时间五分钟，内容包括佩戴仪器静坐作为参照；

管制阶段：时间约二十分钟，内容包括完成一次管制任务；

实验结果：时间十分钟，内容包括拆御生理采集设备、填写NASA-TLX量表和更换人员。

实施例3

本实施例提供了使用本发明方法的训练结果，原始数据集包括2630条样本，将数据按8：1：1的比例划分为训练集、验证集、测试集数据，其中低负荷样本、中等负荷样本和高负荷样本的比例约为17：4：3。如图5所示，模型训练时的损失曲线，如图6所示，为模型训练时的正确率曲线，其中，横坐标为训练迭代次数，纵坐标为损失和正确率。在训练过程中，随着训练迭代次数的增长，训练集和验证集的loss不断下降，正确率不断上升，最后趋于平稳，体现了模型较好的泛化能力和分类能力。

使用训练好的模型，对测试集进行测试，得到如下的混淆矩阵。

如图7所示，测试集的低负荷样本数量：168；中负荷样本数量：39；高负荷样本数量：30；从混淆矩阵可以看出，模型能够准确地区分三类负荷水平，预测准确率较高，达96.4%，这表明该模型具有良好的分类能力。此外，对于高负荷的数据，虽然样本数量较少，但模型也能够准确识别，这表明模型具有一定的泛化能力和稳定性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。