基于多模态对齐与多向量表征的人格检测方法

摘要

本发明公开一种基于多模态对齐与多向量表征的人格检测方法，包括将语音和视频模态数据按每个epoch进行重采样；将数个样本及其文本模态数据输入模态内表征模块进行独立编码，得到语音序列、视频序列和文本序列；将语音序列、视频序列和文本序列输入模态间对齐表征模块以两两对齐交互后拼接，得到增强后的语音表征、视频表征和文本表征；将所有语音表征、所有视频表征和所有文本表征分别拼接得到语音向量、视频向量和文本向量，输入卷积神经网络转化为至少两类人格向量；将至少两类人格向量分别线性化后通过sigmoid函数映射得到至少两类人格特点的预测概率。本发明通过3个模态数据的两两交互增强模态表征，提高模型的辨别能力，得到更为精准的预测结果。