用于心理压力检测的多模态融合方法及装置

摘要

本发明实施例提供一种用于心理压力检测的多模态融合方法及装置，本发明基于生理数据‑>文本、生理数据‑>图片、文本‑>生理数据、文本‑>图片、图片‑>生理数据、图片‑>文本的注意力强化特征矩阵，基于前馈全连接神经网络，获取文本、图片和生理数据的融合特征矩阵；接着基于文本、图片、生理数据的重要性权重值以及文本、图片和生理数据的融合特征矩阵，获取三种模态的融合表示矩阵；最后基于述三种模态的融合表示矩阵以及前馈全连接网络获取反映心理压力问题的压力分类向量。本发明通过融合文本图片数据与生理相关数据，不仅弥补了由文本和图片数据的主观性带来的不足，解决了生理相关数据的一些固有问题。

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种用于心理压力检测的多模态融合方法及装置。

背景技术

随着社会竞争压力的增大，青少年的心理压力问题逐渐成为一个越发严重的问题。过度的心理压力会导致很多生理和心理上的问题，这使得心理压力检测越来越重要。

已有的聚焦于社交媒体上的心理压力检测工作只关注于文本和图片内容，然而文本和图片内容具有主观性，有时候无法表达出真实心理状态。

已有的一些生理信号相关的工作证明了生理信号在检测心理压力时的有效性，比如心率变异性、心电图、电流皮肤反应，脑电图，血压和肌电图等。但是生理信号相关数据也存在一些固有的问题，比如在极度兴奋状态和极度压力状态的生理相关数据是非常相似的，因此，根据生理信号相关数据有时也无法完全表达出真实心理状态。

根据上面描述可知，目前缺乏一种有效的心理压力检测方法和装置。

发明内容

针对现有技术中的问题，本发明实施例提供一种用于心理压力检测的多模态融合方法及装置。

第一方面，本发明实施例提供了一种对两种模态数据进行特征交互融合的注意力权重对应方法，包括：

基于两种模态数据的特征矩阵，利用矩阵乘法，获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵；

基于所述关联关系矩阵和前馈全连接网络模型，获取其中一种模态数据的特征矩阵对另一种模态数据的特征矩阵的影响力权重矩阵；

基于所述影响力权重矩阵和所述两种模态数据的特征矩阵，利用矩阵点乘和残差连接，获取包含所述两种模态数据的特征矩阵相互影响权重的注意力强化特征矩阵。

第二方面，本发明实施例提供了一种基于如第一方面所述的对两种模态数据进行特征交互融合的注意力权重对应方法的用于心理压力检测的多模态融合方法，包括：

分别获取反映用户生理状态的生理数据相关特征矩阵以及反映用户心理活动状态的文本特征矩阵和图片特征矩阵；

基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，利用所述注意力权重对应方法，获取包含所述生理数据相关特征矩阵对所述文本特征矩阵相互影响权重的第一注意力强化特征矩阵、包含所述生理数据相关特征矩阵对所述图片特征矩阵相互影响权重的第二注意力强化特征矩阵、包含所述文本特征矩阵对所述生理数据相关特征矩阵相互影响权重的第三注意力强化特征矩阵、包含所述文本特征矩阵对所述图片特征矩阵相互影响权重的第四注意力强化特征矩阵、包含所述图片特征矩阵对所述生理数据相关特征矩阵相互影响权重的第五注意力强化特征矩阵和包含所述图片特征矩阵对所述文本特征矩阵相互影响权重的第六注意力强化特征矩阵；

基于所述第一注意力强化特征矩阵、所述第二注意力强化特征矩阵、所述第三注意力强化特征矩阵、所述第四注意力强化特征矩阵、所述第五注意力强化特征矩阵和所述第六注意力强化特征矩阵，基于前馈全连接神经网络，获取文本融合特征矩阵、图片融合特征矩阵和生理数据融合特征矩阵；

基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，基于前馈全连接神经网络，得到文本、图片、生理数据特征值；

基于所述文本、图片、生理数据特征值，基于向量拼接和注意力机制，获取文本、图片、生理数据的重要性权重值；

基于所述文本、图片、生理数据的重要性权重值以及所述文本融合特征矩阵、所述图片融合特征矩阵和所述生理数据融合特征矩阵，获取三种模态的融合表示矩阵；

基于所述三种模态的融合表示矩阵以及前馈全连接网络，获取反映心理压力问题的压力分类向量。

第三方面，本发明实施例还提供了一种对两种模态数据进行特征交互融合的注意力权重对应装置，包括：

第一获取模块，用于基于两种模态数据的特征矩阵，利用矩阵乘法，获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵；

第二获取模块，用于基于所述关联关系矩阵和前馈全连接网络模型，获取其中一种模态数据的特征矩阵对另一种模态数据的特征矩阵的影响力权重矩阵；

第三获取模块，用于基于所述影响力权重矩阵和所述两种模态数据的特征矩阵，利用矩阵点乘和残差连接，获取包含所述两种模态数据的特征矩阵相互影响权重的注意力强化特征矩阵。

第四方面，本发明实施例还提供了一种基于如第三方面所述的对两种模态数据进行特征交互融合的注意力权重对应装置的用于心理压力检测的多模态融合装置，包括：

第四获取模块，用于分别获取反映用户生理状态的生理数据相关特征矩阵以及反映用户心理活动状态的文本特征矩阵和图片特征矩阵；

第五获取模块，用于基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，利用所述注意力权重对应方法，获取包含所述生理数据相关特征矩阵对所述文本特征矩阵相互影响权重的第一注意力强化特征矩阵、包含所述生理数据相关特征矩阵对所述图片特征矩阵相互影响权重的第二注意力强化特征矩阵、包含所述文本特征矩阵对所述生理数据相关特征矩阵相互影响权重的第三注意力强化特征矩阵、包含所述文本特征矩阵对所述图片特征矩阵相互影响权重的第四注意力强化特征矩阵、包含所述图片特征矩阵对所述生理数据相关特征矩阵相互影响权重的第五注意力强化特征矩阵和包含所述图片特征矩阵对所述文本特征矩阵相互影响权重的第六注意力强化特征矩阵；

第六获取模块，用于基于所述第一注意力强化特征矩阵、所述第二注意力强化特征矩阵、所述第三注意力强化特征矩阵、所述第四注意力强化特征矩阵、所述第五注意力强化特征矩阵和所述第六注意力强化特征矩阵，基于前馈全连接神经网络，获取文本融合特征矩阵、图片融合特征矩阵和生理数据融合特征矩阵；

第七获取模块，用于基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，基于前馈全连接神经网络，得到文本、图片、生理数据特征值；

第八获取模块，用于基于所述文本、图片、生理数据特征值，基于向量拼接和注意力机制，获取文本、图片、生理数据的重要性权重值；

第九获取模块，用于基于所述文本、图片、生理数据的重要性权重值以及所述文本融合特征矩阵、所述图片融合特征矩阵和所述生理数据融合特征矩阵，获取三种模态的融合表示矩阵；

第十获取模块，用于基于所述三种模态的融合表示矩阵以及前馈全连接网络，获取反映心理压力问题的压力分类向量。

第五方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述对两种模态数据进行特征交互融合的注意力权重对应方法的步骤，和/或，如第二方面所述用于心理压力检测的多模态融合方法的步骤。

第六方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述对两种模态数据进行特征交互融合的注意力权重对应方法的步骤，和/或，如第二方面所述用于心理压力检测的多模态融合方法的步骤。

由上面技术方案可知，本发明实施例提供的对两种模态数据进行特征交互融合的注意力权重对应方法及装置，基于两种模态数据的特征矩阵，利用矩阵乘法，获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵，并基于所述关联关系矩阵和前馈全连接网络模型，获取其中一种模态数据的特征矩阵对另一种模态数据的特征矩阵的影响力权重矩阵，最后基于所述影响力权重矩阵和所述两种模态数据的特征矩阵，利用矩阵点乘和残差连接，获取包含所述两种模态数据的特征矩阵相互影响权重的注意力强化特征矩阵，本发明实施例通过上面处理过程实现了对两种模态数据进行特征交互融合的注意力权重对应方法，并基于该方法，本发明另一实施例提供了一种用于心理压力检测的多模态融合方法及装置，在该实施例中，基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，利用所述注意力权重对应方法，获取包含所述生理数据相关特征矩阵对所述文本特征矩阵相互影响权重的第一注意力强化特征矩阵、包含所述生理数据相关特征矩阵对所述图片特征矩阵相互影响权重的第二注意力强化特征矩阵、包含所述文本特征矩阵对所述生理数据相关特征矩阵相互影响权重的第三注意力强化特征矩阵、包含所述文本特征矩阵对所述图片特征矩阵相互影响权重的第四注意力强化特征矩阵、包含所述图片特征矩阵对所述生理数据相关特征矩阵相互影响权重的第五注意力强化特征矩阵和包含所述图片特征矩阵对所述文本特征矩阵相互影响权重的第六注意力强化特征矩阵，然后基于所述第一注意力强化特征矩阵、所述第二注意力强化特征矩阵、所述第三注意力强化特征矩阵、所述第四注意力强化特征矩阵、所述第五注意力强化特征矩阵和所述第六注意力强化特征矩阵，基于前馈全连接神经网络，获取文本融合特征矩阵、图片融合特征矩阵和生理数据融合特征矩阵；接着基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，基于前馈全连接神经网络，得到文本、图片、生理数据特征值，然后基于所述文本、图片、生理数据特征值，基于向量拼接和注意力机制，获取文本、图片、生理数据的重要性权重值；接着基于所述文本、图片、生理数据的重要性权重值以及所述文本融合特征矩阵、所述图片融合特征矩阵和所述生理数据融合特征矩阵，获取三种模态的融合表示矩阵；最后基于所述三种模态的融合表示矩阵以及前馈全连接网络，获取反映心理压力问题的压力分类向量。本发明实施例通过融合文本图片数据与生理相关数据，不仅弥补了由文本和图片数据的主观性带来的不足，解决了生理相关数据的一些固有问题(比如在极度兴奋状态和极度压力状态的生理相关数据是非常相似的)，还在一定程度上弥补了某种数据缺失而产生的心理检测空窗期。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的对两种模态数据进行特征交互融合的注意力权重对应方法的流程图；

图2是本发明一实施例提供的对两种模态数据进行特征交互融合的注意力权重对应方法的模型结构图；

图3为本发明一实施例提供的用于心理压力检测的多模态融合方法的流程图；

图4是本发明一实施例提供的文本特征提取过程示意图；

图5是本发明一实施例提供的生理特征提取过程示意图；

图6是本发明一实施例提供的对文本、图片和生理相关数据多模态检测心理压力问题的融合方法的模型结构图；

图7为本发明一实施例提供的用于心理压力检测的多模态融合装置的结构示意图；

图8为本发明一实施例提供的对两种模态数据进行特征交互融合的注意力权重对应装置的结构示意图；

图9为本发明一实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在介绍本发明实施例提供的方案之前，先对本发明的产生由来进行简要说明。当青少年遭受心理压力时，其日常活动量(如记步数)，以及睡眠情况(入睡困难、早醒等)常常会出现一些异常。另一方面，文字表达和图片表达会很大程度上表现青少年的心理状态和日常活动。本发明实施例旨在通过融合文本、图片数据与生理相关数据，来检测到青少年的心理压力。由于本发明实施例需要解决多模态融合的问题，因此本发明实施例首先提出了一个使得两种模态数据能够进行特征交互融合的注意力权重对应方法。为了在文本、图片、生理相关数据上检测青少年心理压力，本发明实施例提出了对文本、图片和生理相关数据多模态检测心理压力问题的融合方法，将上述注意力权重对应方法应用到两两模态之上，再通过权重赋予，最后实现心理压力检测。下面将通过具体实施例对本发明实施例提供的对两种模态数据进行特征交互融合的注意力权重对应方法和用于心理压力检测的多模态融合方法及装置进行详细说明。

图1示出了本发明实施例提供的对两种模态数据进行特征交互融合的注意力权重对应方法的流程图。如图1所示，本发明实施例提供的对两种模态数据进行特征交互融合的注意力权重对应方法包括如下步骤：

步骤101：基于两种模态数据的特征矩阵，利用矩阵乘法，获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵。

在本实施例中，模态数据是指用于检测青少年心理压力的文本数据(如文字调查问卷、日记、随想、作文等)、用于检测青少年心理压力的图片数据(如图片调查问卷、喜爱的漫画、随手涂鸦等)或用于检测青少年心理压力的生理相关数据，如运动情况和睡眠情况等。

在本实施例中，两种模态数据可以指文本数据和图片数据这两种模态数据、也可以指文本数据和生理相关数据这两种模态数据、还可以指图片数据和生理相关数据这两种模态数据。

步骤102：基于所述关联关系矩阵和前馈全连接网络模型，获取其中一种模态数据的特征矩阵对另一种模态数据的特征矩阵的影响力权重矩阵。

步骤103：基于所述影响力权重矩阵和所述两种模态数据的特征矩阵，利用矩阵点乘和残差连接，获取包含所述两种模态数据的特征矩阵相互影响权重的注意力强化特征矩阵。

在本实施例中，主要目的在于，要获取两种模态数据的特征矩阵之间的关联关系，并且将这种关联关系对应回原特征矩阵中，使得处理后的每一个模态的特征矩阵都包含另一个模态对它的关联关系影响信息。如图2所示，具体如下：

假设两个模态数据的特征矩阵为A和B，其中使用矩阵乘法将A与B的转秩矩阵相乘，来得到包含A中每一个特征和B中每一个特征之间的关联关系矩阵

通过一个一层全连接网络，将映射回的向量空间，得到A_B→A，

A_B→A表示模态B对于模态A的影响力权重，W₁表示第一预设训练参数。

使用点乘操作来将A_B→A与A相乘，并获得残差连接后的注意力强化特征矩阵包含了B的信息以及B对A产生的影响。

与上同理，可以得到注意力强化特征矩阵包含了A的信息以及A对B产生的影响：

为了方便后面实施例调用这个方法，用f_AMM来表示这个方法，即

需要说明的是，本实施例中的两种模态数据可以指用于检测心理压力的文本数据和图片数据这两种模态数据、也可以指用于检测心理压力的文本数据和生理相关数据这两种模态数据、还可以指用于检测心理压力的图片数据和生理相关数据这两种模态数据，本发明实施例通过上面处理过程实现了对文本数据和图片数据这两种模态数据进行特征交互融合的注意力权重对应方法，实现了对文本数据和生理相关数据这两种模态数据进行特征交互融合的注意力权重对应方法，实现了对图片数据和生理相关数据这两种模态数据进行特征交互融合的注意力权重对应方法，也即本实施例使得处理后的文本数据包含有图片数据和生理相关数据对它的关联关系影响，使得处理后的图片数据包含有文本数据和生理相关数据对它的关联关系影响，使得处理后的生理相关数据包含有文本数据和图片数据对它的关联关系影响。也即本实施例使得处理后的每一个模态的特征矩阵都包含另一个模态对它的关联关系影响信息，从而便于将多模态的特征数据进行融合，得到多模态特征数据综合影响的结果。后续将实施例基于该方法，提供一种用于心理压力检测的多模态融合方法及装置，将用于心理压力检测的文本数据、图片数据和生理相关数据进行多模态融合，从而不仅可以弥补由文本和图片数据的主观性带来的不足，而且还可以解决生理相关数据的一些固有问题(比如在极度兴奋状态和极度压力状态的生理相关数据是非常相似的)，此外，还在一定程度上弥补了某种数据缺失而产生的心理检测空窗期。

由上面技术方案可知，本发明实施例提供的对两种模态数据进行特征交互融合的注意力权重对应方法，其目的是为获取两种模态特征矩阵之间的关联关系，并且将这种关联关系对应回原特征矩阵中，使得处理后的每一个模态的特征矩阵都包含另一个模态对它的关联关系影响信息，采用了如下处理手段：基于两种模态数据的特征矩阵，利用矩阵乘法，获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵，并基于所述关联关系矩阵和前馈全连接网络模型，获取其中一种模态数据的特征矩阵对另一种模态数据的特征矩阵的影响力权重矩阵，最后基于所述影响力权重矩阵和所述两种模态数据的特征矩阵，利用矩阵点乘和残差连接，获取包含所述两种模态数据的特征矩阵相互影响权重的注意力强化特征矩阵，本发明实施例通过上面处理过程实现了对两种模态数据进行特征交互融合的注意力权重对应方法，这里的两种模态数据可以指文本数据和图片数据这两种模态数据、也可以指文本数据和生理相关数据这两种模态数据、还可以指图片数据和生理相关数据这两种模态数据，本发明实施例通过上面处理过程实现了对文本数据和图片数据这两种模态数据进行特征交互融合的注意力权重对应方法，实现了对文本数据和生理相关数据这两种模态数据进行特征交互融合的注意力权重对应方法，实现了对图片数据和生理相关数据这两种模态数据进行特征交互融合的注意力权重对应方法，也即本实施例使得处理后的文本数据包含有图片数据和生理相关数据对它的关联关系影响，使得处理后的图片数据包含有文本数据和生理相关数据对它的关联关系影响，使得处理后的生理相关数据包含有文本数据和图片数据对它的关联关系影响。也即本实施例使得处理后的每一个模态的特征矩阵都包含另一个模态对它的关联关系影响信息，从而便于将多模态的特征数据进行融合，得到多模态特征数据综合影响的结果。后续将实施例基于该方法，提供一种用于心理压力检测的多模态融合方法及装置，将用于心理压力检测的文本数据、图片数据和生理相关数据进行多模态融合，从而不仅可以弥补由文本和图片数据的主观性带来的不足，而且还可以解决生理相关数据的一些固有问题(比如在极度兴奋状态和极度压力状态的生理相关数据是非常相似的)，此外，还在一定程度上弥补了某种数据缺失而产生的心理检测空窗期。

进一步地，基于上述实施例的内容，在本实施例中，上述步骤101可通过如下方式实现：

利用下面第一关系模型获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵：

其中，表示关联关系矩阵，A表示其中一种模态数据的特征矩阵，B表示另一种模态数据的特征矩阵，表示实数空间，k表示该两种模态数据的维度，B^T表示B的转秩矩阵，使用矩阵乘法将特征矩阵A与特征矩阵B的转秩矩阵相乘，得到包含特征矩阵A中每一个特征和特征矩阵B中每一个特征之间的关联关系矩阵

进一步地，基于上述实施例的内容，在本实施例中，上述步骤102可通过如下方式实现：

利用下面第二关系模型获取特征矩阵B对特征矩阵A的影响力权重矩阵：

以及利用下面第三关系模型获取特征矩阵A对特征矩阵B的影响力权重矩阵：

其中，A_B→A表示特征矩阵B对特征矩阵A的影响力权重矩阵，B_A→B表示特征矩阵A对特征矩阵B的影响力权重矩阵，softmax表示归一化指数函数，W₁表示第一类训练参数中的第一预设训练参数，W₂

表示第一类训练参数中的第二预设训练参数，通过一个一层全连接网络，将关联关系矩阵映射回的向量空间，得到特征矩阵B对特征矩阵A的影响力权重矩阵A_B→A和特征矩阵A对特征矩阵B的影响力权重矩阵B_A→B。

进一步地，基于上述实施例的内容，在本实施例中，上述步骤103可通过如下方式实现：

利用下面第四关系模型获取注意力强化特征矩阵

以及利用下面第五关系模型获取注意力强化特征矩阵

其中，⊙表示点乘操作，使用点乘操作来将A_B→A与A相乘，并获得残差连接后的注意力强化特征矩阵中包含有B的信息以及B对A产生的影响；使用点乘操作来将B_A→B与B相乘，并获得残差连接后的注意力强化特征矩阵中包含有A的信息以及A对B产生的影响；

其中，f_AMM表示由特征矩阵A和特征矩阵B到注意力强化特征矩阵和注意力强化特征矩阵的处理过程，具体包括：利用所述第一关系模型至所述第五关系模型对特征矩阵A和特征矩阵B进行处理得到注意力强化特征矩阵和注意力强化特征矩阵的处理过程。

图3示出了本发明实施例提供的用于心理压力检测的多模态融合方法的流程图。如图3所示，本发明实施例提供的用于心理压力检测的多模态融合方法基于上述实施例所述的对两种模态数据进行特征交互融合的注意力权重对应方法实现，本发明实施例提供的用于心理压力检测的多模态融合方法包括如下步骤：

步骤201：分别获取反映用户生理状态的生理数据相关特征矩阵以及反映用户心理活动状态的文本特征矩阵和图片特征矩阵。

在本步骤中，需要获取文本、图片和生理相关数据的特征矩阵。对于文本特征矩阵的获取过程，可参见图4所示的获取过程示意图。对于生理数据相关特征矩阵的获取过程，可参见图5所示的获取过程示意图。下面分别对文本、图片和生理相关数据的特征矩阵的获取过程给予详细介绍。

①对于文本，把每一条文本用w表示，w＝{w₁,w₂,···,w_n}，w_i表示一个单词。例如，选用Chinese>1,x₂,···,x_n}，x_i为表示词语含义的1*300的向量。

LSTM(Long Short-Term Memory，长短期记忆网络)网络层目的是计算出一个可以表达上下文信息的文本表示，因为模型是不能直接理解自然语言的，必须要先计算出一个模型可以理解的文本表示，这个文本表示具体是矩阵形式H。将文本表示X＝{x₁,x₂,···,x_n}作为输入进入LSTM层，其中n表示所述文本词汇中包含的所述单词的数量，n在本发明中取20。通过正向LSTM和反向LSTM分别得到两个LSTM的隐藏层输出和将对应位置的隐藏层输出相加，得到文本表示矩阵H：

应用注意力机制得到文本表示矩阵H的贡献度分布权重：

Attn_T＝softmax(HW₃+b₁)

其中，Attn_T是贡献度分布权重向量，表示每一个单词的文本表示的贡献权重的分布。将Attn_T与H相乘，并通过残差连接，得到了经过权重分布重新调整的文本表示矩阵

通过一层全连接网络，将映射到k×1的向量空间，得到了文本特征矩阵F_T：

②对于图片，可以将每张图片统一压缩为32*32像素的图像，这样在图片数量少的情况下可以加速图片特征的获取。由于是彩色图片，所以通道数为3，每个图片用32*32*3的向量表示，通过预训练的ResNet网络的前三部分结构来得到4*4*512的特征向量，接下来通过一层卷积层得到4*4*32的特征向量，卷积层的输入是4*4*512的特征向量，卷积核大小为1*1，卷积后得到4*4*32的特征向量。将4*4*32的图像展开为一个长度为512的向量C，表示初步的图像特征C。接下来用一个全连接层将图像特征的维度映射到n×1的向量空间，得到图片特征矩阵F_V：

F_V＝ReLU(W₅C+b₃)。

③对于生理相关数据，可通过手环采集相关的睡眠数据和运动数据，对睡眠数据和运动数据进行特征提取，获得相关的睡眠特征向量和运动特征向量拼接起来作为生理相关数据特征向量。例如，考虑到青少年的作息时间规律，针对晚上8:00到第二天早上10:00的睡眠情况。提取了9个特征，分别是：睡眠开始片段、睡眠结束片段、睡眠片段、深睡眠片段、深睡眠占比、睡眠总量、单位片段睡眠量、睡眠波动量、睡眠中清醒次数。为了方便时间特征的计量，将每15分钟作为一个片段，例如20:00-20:15为片段1，20:15-20:30为片段2，以此类推，片段集合用T表示，

T＝{t₁,t₂,···,t₅₆}，t_i∈T表示第i个片段的睡眠量。

睡眠开始片段：在睡眠区间内最早产生至少连续4个片段的连续睡眠数据均大于0的起始片段，作为睡眠开始片段，即当t_i*t_i+1*t_i+2*t_i+3＞0时,t_i,t_i+1,t_i+2,t_i+3∈T，睡眠开始片段取为i中的最小值的片段。

睡眠结束时间：在睡眠区间内至少4个连续睡眠片段的睡眠量均大于0的最晚片段，即t_i*t_i-1*t_i-2*t_i-3＞0且t_i,t_i-1,t_i-2,t_i-3∈T。

睡眠片段：睡眠计量区间内睡眠量大于0的片段数。

深睡眠片段：当片段内睡眠量高于阈值θ，为一个深睡眠片段，一般θ取值230，该阈值为手环参数，根据不同的手环，其值可变。

深睡眠占比：深睡眠片段与睡眠片段的比值。

睡眠总量：睡眠开始片段到睡眠结束片段之间的睡眠量之和。

单位片段睡眠量：睡眠总量与睡眠片段的比值即为单位片段睡眠量。

睡眠波动量：睡眠开始片段到睡眠结束片段之间的睡眠量的标准差作为睡眠波动量。

睡眠中清醒次数：睡眠开始片段到睡眠结束片段之间睡眠量小于阈值β的片段数，β取值25，当睡眠开始片段到睡眠结束片段之间睡眠量小于25，即表示醒了。

关于运动特征向量，提取了5个运动特征，分别是每日运动步数、每日卡路里消耗值、每日运动距离、每日运动时长、每日运动活跃时长。其中每日运动步数、每日卡路里消耗值、每日运动距离、每日运动时长可以通过手环直接获取到。每日运动活跃时长：将每天24个小时平均分为96个片段，每个片段中运动步数、卡路里消耗值、运动距离、运动时长均高于其对应项均值的片段是运动活跃片段，每日运动活跃片段的总数即为每日运动活跃时长。将9个睡眠特征和5个运动特征拼接在一起，成为14*1的生理相关数据特征E_S。

通过两层全连接网络得到一个更好的生理相关数据表示矩阵E：

E＝ReLU(W₇(ReLU(W₆E_S+b₄)+b₅))

应用注意力机制得到生理相关数据表示矩阵E的贡献度分布权重：

Attn_E＝softmax(W₈E+b₆)

其中，Attn_E是贡献度分布权重向量，表示每一个生理特征表示的贡献权重的分布。将Attn_E与E相乘，并通过残差连接，得到了经过权重分布重新调整的文本表示矩阵

通过一层全连接网络，将映射到k×1的向量空间，得到了生理数据相关特征矩阵F_E：

需要说明的是，上述例子只是一个示意，所述生理相关数据并不局限于所述睡眠数据和所述运动数据，根据实际需要，还可以是血压、脉搏、电流皮肤反应、心电图、肌电图等数据，本发明对此不作限定。

步骤202：基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，利用所述注意力权重对应方法，获取包含所述生理数据相关特征矩阵对所述文本特征矩阵相互影响权重的第一注意力强化特征矩阵、包含所述生理数据相关特征矩阵对所述图片特征矩阵相互影响权重的第二注意力强化特征矩阵、包含所述文本特征矩阵对所述生理数据相关特征矩阵相互影响权重的第三注意力强化特征矩阵、包含所述文本特征矩阵对所述图片特征矩阵相互影响权重的第四注意力强化特征矩阵、包含所述图片特征矩阵对所述生理数据相关特征矩阵相互影响权重的第五注意力强化特征矩阵和包含所述图片特征矩阵对所述文本特征矩阵相互影响权重的第六注意力强化特征矩阵。

在本步骤中，在两两的特征向量之间都应用注意力权重对应方法，来得到注意力强化特征矩阵

其中，所述第一注意力强化特征矩阵为生理数据->文本的注意力强化特征矩阵所述第二注意力强化特征矩阵为生理数据->图片的注意力强化特征矩阵所述第三注意力强化特征矩阵为文本->生理数据的注意力强化特征矩阵所述第四注意力强化特征矩阵为文本->图片的注意力强化特征矩阵所述第五注意力强化特征矩阵为图片->生理数据的注意力强化特征矩阵所述第六注意力强化特征矩阵为图片->文本的注意力强化特征矩阵这样对于每一个模态来说，都得到了两个注意力强化特征矩阵，都包含了其他两种模态的关联信息。

步骤203：基于所述第一注意力强化特征矩阵、所述第二注意力强化特征矩阵、所述第三注意力强化特征矩阵、所述第四注意力强化特征矩阵、所述第五注意力强化特征矩阵和所述第六注意力强化特征矩阵，基于前馈全连接神经网络，获取文本融合特征矩阵、图片融合特征矩阵和生理数据融合特征矩阵。

在本步骤中，进一步通过一层全连接网络，将每个模态的两个注意力强化特征矩阵合并为一个融合特征矩阵每个融合特征矩阵包含着其他两种模态的关联和影响力信息：

步骤204：基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，基于前馈全连接神经网络，得到文本、图片、生理数据特征值。

在本步骤中，将文本、图片、生理相关特征矩阵映射到(0,1)之间，然后通过一层全连接得到文本、图片、生理相关的特征值S_T，S_V和S_E：

S_T＝ReLU(W₁₆softmax(F_T)+b₁₁)

S_V＝ReLU(W₁₇softmax(F_V)+b₁₂)

S_E＝ReLU(W₁₈softmax(F_E)+b₁₃)

步骤205：基于所述文本、图片、生理数据特征值，基于向量拼接和注意力机制，获取文本、图片、生理数据的重要性权重值。

在本步骤中，将所述文本、图片、生理数据特征值S_T，S_V和S_E拼接到一起，通过注意力机制，获取文本、图片、生理数据的重要性权重值weight_T，weight_V和weight_E：

(weight_T,weight_V,weight_E)＝softmax([S_T,S_V,S_E]W₁₉)

步骤206：基于所述文本、图片、生理数据的重要性权重值以及所述文本融合特征矩阵、所述图片融合特征矩阵和所述生理数据融合特征矩阵，获取三种模态的融合表示矩阵。

在本步骤中，三种模态是指文本数据模态、图片数据模态和生理相关数据模态。本步骤将所述文本、图片、生理数据的重要性权重值weight_T，weight_V和weight_E与所述文本融合特征矩阵所述图片融合特征矩阵和所述生理数据融合特征矩阵对应相乘再相加，得到三种模态的融合表示矩阵R_W：

步骤207：基于所述三种模态的融合表示矩阵以及前馈全连接网络，获取反映心理压力问题的压力分类向量。

在本步骤中，通过一个线性分类器来得到表示有无心理压力的1*2的压力分类向量y，两个维度分别代表有压力和无压力，其中拥有最高的数值的位置所对应的含义将作为最终的分类结果。例如，具体可通过如下模型获取压力分类向量y：

y＝softmax(W₂₃R_W+b₁₄)

其中，W₁～W₂₃表示第一类训练参数中的第一至第二十三预设训练参数，b₁～b₁₄表示第二类训练参数中的第一至第十四预设训练参数。其中，所述第一类训练参数和所述第二类训练参数均遵从于正态分布U(-0.001，0.001)，第一类训练参数中的第一至第二十三预设训练参数和第二类训练参数中的第一至第十四预设训练参数根据实际需要进行设置。

参见图6所示的对文本、图片和生理相关数据多模态检测心理压力问题的融合方法的模型结构图可知，本发明实施例提供的用于心理压力检测的多模态融合方法，基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，利用所述注意力权重对应方法，获取包含所述生理数据相关特征矩阵对所述文本特征矩阵相互影响权重的第一注意力强化特征矩阵、包含所述生理数据相关特征矩阵对所述图片特征矩阵相互影响权重的第二注意力强化特征矩阵、包含所述文本特征矩阵对所述生理数据相关特征矩阵相互影响权重的第三注意力强化特征矩阵、包含所述文本特征矩阵对所述图片特征矩阵相互影响权重的第四注意力强化特征矩阵、包含所述图片特征矩阵对所述生理数据相关特征矩阵相互影响权重的第五注意力强化特征矩阵和包含所述图片特征矩阵对所述文本特征矩阵相互影响权重的第六注意力强化特征矩阵，然后基于所述第一注意力强化特征矩阵、所述第二注意力强化特征矩阵、所述第三注意力强化特征矩阵、所述第四注意力强化特征矩阵、所述第五注意力强化特征矩阵和所述第六注意力强化特征矩阵，基于前馈全连接神经网络，获取文本融合特征矩阵、图片融合特征矩阵和生理数据融合特征矩阵；接着基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，基于前馈全连接神经网络，得到文本、图片、生理数据特征值，然后基于所述文本、图片、生理数据特征值，基于向量拼接和注意力机制，获取文本、图片、生理数据的重要性权重值；接着基于所述文本、图片、生理数据的重要性权重值以及所述文本融合特征矩阵、所述图片融合特征矩阵和所述生理数据融合特征矩阵，获取三种模态的融合表示矩阵；最后基于所述三种模态的融合表示矩阵以及前馈全连接网络，获取反映心理压力问题的压力分类向量。本发明实施例通过融合文本图片数据与生理相关数据，不仅弥补了由文本和图片数据的主观性带来的不足，解决了生理相关数据的一些固有问题(比如在极度兴奋状态和极度压力状态的生理相关数据是非常相似的)，还在一定程度上弥补了某种数据缺失而产生的心理检测空窗期。

进一步地，基于上述实施例的内容，在本实施例中，上述步骤201可以通过如下方式实现：

利用下面第六处理模型获取反映用户心理活动状态的文本特征矩阵：

Attn_T＝softmax(HW₃+b₁)

其中，F_T表示文本特征矩阵，H表示文本表示矩阵，表示经过权重分布重新调整的文本表示矩阵，Attn_T表示文本表示矩阵H的贡献度分布权重向量，将文本表示X＝{x₁,x₂,···,x_n}作为输入进入长短期记忆网络

LSTM层，通过正向LSTM和反向LSTM分别得到两个LSTM的隐藏层输出和将对应位置的隐藏层输出相加，得到文本表示矩阵H；应用注意力机制得到文本表示矩阵H的贡献度分布权重向量Attn_T：Attn_T＝softmax(HW₃+b₁)，Attn_T表示每一个单词的文本表示的贡献权重的分布，将Attn_T与H相乘，并通过残差连接，得到了经过权重分布重新调整的文本表示矩阵通过一层全连接网络，将映射到k×1的向量空间，得到了文本特征矩阵F_T：其中，W₃表示第一类训练参数中的第三预设训练参数，W₄表示第一类训练参数中的第四预设训练参数，b₁表示第二类训练参数中的第一预设训练参数，b₂表示第二类训练参数中的第二预设训练参数，ReLU表示激活函数；softmax表示归一化指数函数，文本表示x_i表示词语含义的向量，n表示文本中包含的单词的数量；

以及利用下面第七处理模型获取反映用户心理活动状态的图片特征矩阵：

F_V＝ReLU(W₅C+b₃)

其中，F_V表示图片特征矩阵，C表示图片特征，用一个全连接层将图片特征C的维度映射到n×1的向量空间，得到图片特征矩阵F_V；其中，W₅表示第一类训练参数中的第五预设训练参数，b₃表示第二类训练参数中的第三预设训练参数；

以及利用下面第八处理模型获取反映用户生理状态的生理数据相关特征矩阵：

E＝ReLU(W₇(ReLU(W₆E_S+b₄)+b₅))

Attn_E＝softmax(W₈E+b₆)

其中，F_E表示生理数据相关特征矩阵，E_S表示生理相关数据特征矩阵，E_S里面包含有多个预设的生理特征，E表示对E_S进行两层全连接网络得到的生理相关数据表示矩阵E，Attn_E表示生理相关数据表示矩阵E的贡献度分布权重向量，表示经过权重分布重新调整的文本表示矩阵对E_S进行两层全连接网络得到的生理相关数据表示矩阵E：E＝ReLU(W₇(ReLU(W₆E_S+b₄)+b₅))，应用注意力机制得到生理相关数据表示矩阵E的贡献度分布权重向量Attn_E：Attn_E＝softmax(W₈E+b₆)，将Attn_E与E相乘，并通过残差连接，得到了经过权重分布重新调整的文本表示矩阵通过一层全连接网络，将映射到k×1的向量空间，得到了生理数据相关特征矩阵F_E：其中，Attn_E表示每一个生理特征表示的贡献权重的分布，W₆表示第一类训练参数中的第六预设训练参数，W₇表示第一类训练参数中的第七预设训练参数，W₈表示第一类训练参数中的第八预设训练参数，W₉表示第一类训练参数中的第九预设训练参数，b₄表示第二类训练参数中的第四预设训练参数，b₅表示第二类训练参数中的第五预设训练参数，b₆表示第二类训练参数中的第六预设训练参数，b₇表示第二类训练参数中的第七预设训练参数。

进一步地，基于上述实施例的内容，在本实施例中，上述步骤202可以通过如下方式实现：

基于所述生理数据相关特征矩阵和所述文本特征矩阵，应用上述实施例所述的对两种模态数据进行特征交互融合的注意力权重对应方法，获取包含所述生理数据相关特征矩阵对所述文本特征矩阵相互影响权重的第一注意力强化特征矩阵；所述第一注意力强化特征矩阵为生理数据->文本的注意力强化特征矩阵

基于所述生理数据相关特征矩阵和所述图片特征矩阵，应用上述实施例所述的对两种模态数据进行特征交互融合的注意力权重对应方法，获取包含所述生理数据相关特征矩阵对所述图片特征矩阵相互影响权重的第二注意力强化特征矩阵；所述第二注意力强化特征矩阵为生理数据->图片的注意力强化特征矩阵

基于所述生理数据相关特征矩阵和所述文本特征矩阵，应用上述实施例所述的对两种模态数据进行特征交互融合的注意力权重对应方法，获取包含所述文本特征矩阵对所述生理数据相关特征矩阵相互影响权重的第三注意力强化特征矩阵；所述第三注意力强化特征矩阵为文本->生理数据的注意力强化特征矩阵

基于所述文本特征矩阵和所述图片特征矩阵，应用上述实施例所述的对两种模态数据进行特征交互融合的注意力权重对应方法，获取包含所述文本特征矩阵对所述图片特征矩阵相互影响权重的第四注意力强化特征矩阵；所述第四注意力强化特征矩阵为文本->图片的注意力强化特征矩阵

基于所述生理数据相关特征矩阵和所述图片特征矩阵，应用上述实施例所述的对两种模态数据进行特征交互融合的注意力权重对应方法，获取包含所述图片特征矩阵对所述生理数据相关特征矩阵相互影响权重的第五注意力强化特征矩阵；所述第五注意力强化特征矩阵为图片->生理数据的注意力强化特征矩阵

基于所述文本特征矩阵和所述图片特征矩阵，应用上述实施例所述的对两种模态数据进行特征交互融合的注意力权重对应方法，获取包含所述图片特征矩阵对所述文本特征矩阵相互影响权重的第六注意力强化特征矩阵；所述第六注意力强化特征矩阵为图片->文本的注意力强化特征矩阵

进一步地，基于上述实施例的内容，在本实施例中，上述步骤203可以通过如下方式实现：

利用下面第九处理模型，基于所述第一注意力强化特征矩阵和所述第六注意力强化特征矩阵，通过一层全连接网络，获取文本融合特征矩阵

利用下面第十处理模型，基于所述第二注意力强化特征矩阵和所述第四注意力强化特征矩阵，通过一层全连接网络，获取图片融合特征矩阵

利用下面第十一处理模型，基于所述第三注意力强化特征矩阵和所述第五注意力强化特征矩阵，通过一层全连接网络，获取生理数据融合特征矩阵

其中，W₁₀～W₁₅表示第一类训练参数中的第十至第十五预设训练参数，b₈～b₁₀表示第二类训练参数中的第八至第十预设训练参数。

进一步地，基于上述实施例的内容，在本实施例中，上述步骤204可以通过如下方式实现：

利用下面第十二处理模型获取文本、图片、生理数据特征值：

S_T＝ReLU(W₁₆softmax(F_T)+b₁₁)

S_V＝ReLU(W₁₇softmax(F_V)+b₁₂)

S_E＝ReLU(W₁₈softmax(F_E)+b₁₃)

其中，将所述生理数据相关特征矩阵F_E、所述文本特征矩阵F_T和所述图片特征矩F_V阵映射到(0,1)之间，然后通过一层全连接得到文本、图片、生理数据特征值S_T，S_V和S_E；其中，W₁₆～W₁₈表示第一类训练参数中的第十六预设训练参数至第十八预设训练参数，b₁₁～b₁₃表示第二类训练参数中的第十一至第十三预设训练参数。

进一步地，基于上述实施例的内容，在本实施例中，上述步骤205可以通过如下方式实现：

利用下面第十三处理模型，将所述文本、图片、生理数据特征值S_T，S_V和S_E拼接到一起，通过注意力机制，获取文本、图片、生理数据的重要性权重值weight_T，weight_V和weight_E：

(weight_T,weight_V,weight_E)＝softmax([S_T,S_V,S_E]W₁₉)

其中，W₁₁₉表示第一类训练参数中的第十九预设训练参数。

进一步地，基于上述实施例的内容，在本实施例中，上述步骤206可以通过如下方式实现：

利用下面第十四处理模型，将所述文本、图片、生理数据的重要性权重值weight_T，weight_V和weight_E与所述文本融合特征矩阵所述图片融合特征矩阵和所述生理数据融合特征矩阵对应相乘再相加，得到三种模态的融合表示矩阵R_W：

其中，W₂₀～W₂₂表示第一类训练参数中的第二十预设训练参数至第二十二预设训练参数。

图7示出了本发明实施例提供的对两种模态数据进行特征交互融合的注意力权重对应装置的结构示意图。如图7所示，本发明实施例提供的对两种模态数据进行特征交互融合的注意力权重对应装置包括：第一获取模块11、第二获取模块12和第三获取模块13，其中：

第一获取模块11，用于基于两种模态数据的特征矩阵，利用矩阵乘法，获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵；

第二获取模块12，用于基于所述关联关系矩阵和前馈全连接网络模型，获取其中一种模态数据的特征矩阵对另一种模态数据的特征矩阵的影响力权重矩阵；

第三获取模块13，用于基于所述影响力权重矩阵和所述两种模态数据的特征矩阵，利用矩阵点乘和残差连接，获取包含所述两种模态数据的特征矩阵相互影响权重的注意力强化特征矩阵。

由于本发明实施例提供的对两种模态数据进行特征交互融合的注意力权重对应装置，可以用于执行上述实施例所述的对两种模态数据进行特征交互融合的注意力权重对应方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。

图8示出了本发明实施例提供的用于心理压力检测的多模态融合装置的结构示意图。如图8所示，本发明实施例提供的用于心理压力检测的多模态融合装置基于上面实施例所述的对两种模态数据进行特征交互融合的注意力权重对应装置实现，本发明实施例提供的用于心理压力检测的多模态融合装置，包括：第四获取模块21、第五获取模块22、第六获取模块23、第七获取模块24、第八获取模块25、第九获取模块26和第十获取模块27，其中：

第四获取模块21，用于分别获取反映用户生理状态的生理数据相关特征矩阵以及反映用户心理活动状态的文本特征矩阵和图片特征矩阵；

第五获取模块22，用于基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，利用所述注意力权重对应方法，获取包含所述生理数据相关特征矩阵对所述文本特征矩阵相互影响权重的第一注意力强化特征矩阵、包含所述生理数据相关特征矩阵对所述图片特征矩阵相互影响权重的第二注意力强化特征矩阵、包含所述文本特征矩阵对所述生理数据相关特征矩阵相互影响权重的第三注意力强化特征矩阵、包含所述文本特征矩阵对所述图片特征矩阵相互影响权重的第四注意力强化特征矩阵、包含所述图片特征矩阵对所述生理数据相关特征矩阵相互影响权重的第五注意力强化特征矩阵和包含所述图片特征矩阵对所述文本特征矩阵相互影响权重的第六注意力强化特征矩阵；

第六获取模块23，用于基于所述第一注意力强化特征矩阵、所述第二注意力强化特征矩阵、所述第三注意力强化特征矩阵、所述第四注意力强化特征矩阵、所述第五注意力强化特征矩阵和所述第六注意力强化特征矩阵，基于前馈全连接神经网络，获取文本融合特征矩阵、图片融合特征矩阵和生理数据融合特征矩阵；

第七获取模块24，用于基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，基于前馈全连接神经网络，得到文本、图片、生理数据特征值；

第八获取模块25，用于基于所述文本、图片、生理数据特征值，基于向量拼接和注意力机制，获取文本、图片、生理数据的重要性权重值；

第九获取模块26，用于基于所述文本、图片、生理数据的重要性权重值以及所述文本融合特征矩阵、所述图片融合特征矩阵和所述生理数据融合特征矩阵，获取三种模态的融合表示矩阵；

第十获取模块27，用于基于所述三种模态的融合表示矩阵以及前馈全连接网络，获取反映心理压力问题的压力分类向量。

由于本发明实施例提供的用于心理压力检测的多模态融合装置，可以用于执行上述实施例所述的用于心理压力检测的多模态融合方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。

基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图9，所述电子设备具体包括如下内容：处理器301、存储器302、通信接口303和通信总线304；

其中，所述处理器301、存储器302、通信接口303通过所述通信总线304完成相互间的通信；

所述处理器301用于调用所述存储器302中的计算机程序，所述处理器执行所述计算机程序时实现上述对两种模态数据进行特征交互融合的注意力权重对应方法，和/或，用于心理压力检测的多模态融合方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：

基于两种模态数据的特征矩阵，利用矩阵乘法，获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵；基于所述关联关系矩阵和前馈全连接网络模型，获取其中一种模态数据的特征矩阵对另一种模态数据的特征矩阵的影响力权重矩阵；基于所述影响力权重矩阵和所述两种模态数据的特征矩阵，利用矩阵点乘和残差连接，获取包含所述两种模态数据的特征矩阵相互影响权重的注意力强化特征矩阵。

又如，所述处理器执行所述计算机程序时实现下述过程：

分别获取反映用户生理状态的生理数据相关特征矩阵以及反映用户心理活动状态的文本特征矩阵和图片特征矩阵；基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，利用所述注意力权重对应方法，获取包含所述生理数据相关特征矩阵对所述文本特征矩阵相互影响权重的第一注意力强化特征矩阵、包含所述生理数据相关特征矩阵对所述图片特征矩阵相互影响权重的第二注意力强化特征矩阵、包含所述文本特征矩阵对所述生理数据相关特征矩阵相互影响权重的第三注意力强化特征矩阵、包含所述文本特征矩阵对所述图片特征矩阵相互影响权重的第四注意力强化特征矩阵、包含所述图片特征矩阵对所述生理数据相关特征矩阵相互影响权重的第五注意力强化特征矩阵和包含所述图片特征矩阵对所述文本特征矩阵相互影响权重的第六注意力强化特征矩阵；基于所述第一注意力强化特征矩阵、所述第二注意力强化特征矩阵、所述第三注意力强化特征矩阵、所述第四注意力强化特征矩阵、所述第五注意力强化特征矩阵和所述第六注意力强化特征矩阵，基于前馈全连接神经网络，获取文本融合特征矩阵、图片融合特征矩阵和生理数据融合特征矩阵；基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，基于前馈全连接神经网络，得到文本、图片、生理数据特征值；基于所述文本、图片、生理数据特征值，基于向量拼接和注意力机制，获取文本、图片、生理数据的重要性权重值；基于所述文本、图片、生理数据的重要性权重值以及所述文本融合特征矩阵、所述图片融合特征矩阵和所述生理数据融合特征矩阵，获取三种模态的融合表示矩阵；基于所述三种模态的融合表示矩阵以及前馈全连接网络，获取反映心理压力问题的压力分类向量。

基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述对两种模态数据进行特征交互融合的注意力权重对应方法，和/或，用于心理压力检测的多模态融合方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：

基于两种模态数据的特征矩阵，利用矩阵乘法，获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵；基于所述关联关系矩阵和前馈全连接网络模型，获取其中一种模态数据的特征矩阵对另一种模态数据的特征矩阵的影响力权重矩阵；基于所述影响力权重矩阵和所述两种模态数据的特征矩阵，利用矩阵点乘和残差连接，获取包含所述两种模态数据的特征矩阵相互影响权重的注意力强化特征矩阵。

又如，所述处理器执行所述计算机程序时实现下述过程：

分别获取反映用户生理状态的生理数据相关特征矩阵以及反映用户心理活动状态的文本特征矩阵和图片特征矩阵；基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，利用所述注意力权重对应方法，获取包含所述生理数据相关特征矩阵对所述文本特征矩阵相互影响权重的第一注意力强化特征矩阵、包含所述生理数据相关特征矩阵对所述图片特征矩阵相互影响权重的第二注意力强化特征矩阵、包含所述文本特征矩阵对所述生理数据相关特征矩阵相互影响权重的第三注意力强化特征矩阵、包含所述文本特征矩阵对所述图片特征矩阵相互影响权重的第四注意力强化特征矩阵、包含所述图片特征矩阵对所述生理数据相关特征矩阵相互影响权重的第五注意力强化特征矩阵和包含所述图片特征矩阵对所述文本特征矩阵相互影响权重的第六注意力强化特征矩阵；基于所述第一注意力强化特征矩阵、所述第二注意力强化特征矩阵、所述第三注意力强化特征矩阵、所述第四注意力强化特征矩阵、所述第五注意力强化特征矩阵和所述第六注意力强化特征矩阵，基于前馈全连接神经网络，获取文本融合特征矩阵、图片融合特征矩阵和生理数据融合特征矩阵；基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，基于前馈全连接神经网络，得到文本、图片、生理数据特征值；基于所述文本、图片、生理数据特征值，基于向量拼接和注意力机制，获取文本、图片、生理数据的重要性权重值；基于所述文本、图片、生理数据的重要性权重值以及所述文本融合特征矩阵、所述图片融合特征矩阵和所述生理数据融合特征矩阵，获取三种模态的融合表示矩阵；基于所述三种模态的融合表示矩阵以及前馈全连接网络，获取反映心理压力问题的压力分类向量。

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的用于心理压力检测的多模态融合方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。