具有跨媒体信息融合功能的非接触式情绪监测方法

摘要

本申请提供一种具有跨媒体信息融合功能的非接触式情绪监测方法，其中，本方法基于包括监测目标个体面部可见光视频、面部红外热图视频、音频数据在内的非接触式数据，分别确定第一情绪特征向量矩阵、第二情绪特征向量矩阵和第三情绪特征向量矩阵，之后利用可调节的多模态特征融合机制对上述三个情绪特征向量矩阵进行降维和特征提取，从而得到共享模态矩阵和私有模态矩阵，最后基于得到的模态矩阵确定监测目标个体对于每种预设情绪状态的概率分布。上述方案不仅全面增加了用于分析情绪状态的监测数据类型，将多种类型的监测数据进行跨媒体融合，并且能够充分利用有效数据分析情绪状态，在有效提高情绪状态监测准确度的同时增进分析效率。