一种基于跨模态注意力机制的多模态个性识别方法及系统

摘要

本发明公开了一种基于跨模态注意力机制的多模态个性识别方法及系统，方法包括以下步骤：S1：对视频数据进行预处理，分别得到视频数据中的音频文件和视频帧中的人脸图像和场景图像；S2：从音频文件中提取声音特征；S3：分别对人脸图像和场景图像进行图像特征提取；S4：利用跨模注意力机制对提取的声音特征和图像特征进行深层特征提取；S5：将不同模态的深层特征进行加权特征融合，利用预设的全连接层计算个性分数，得到个性结果；S6：将预准备的视频数据划分为训练集、验证集和测试集，重复步骤S1‑S5迭代训练，利用验证集对训练后的模型进行验证，保存验证效果最好的模型用于个性识别。本发明提高了多模态个性识别的准确率。