一种基于多模态信息融合的用户人格特征预测方法和装置

摘要

本发明公开了一种基于多模态信息融合的用户人格特征预测方法和装置，首先收集用户在社交媒体上标注为偏好的图像数据以及相应的评论数据，并利用心理学上的调查问卷获取数值化的用户人格特征；然后利用基于卷积神经网络的物体识别和场景识别方法提取所述偏好图像的视觉特征，同时利用循环神经网络提取相应所述评论的文本特征；再通过构建基于注意力机制的多模态融合模块，将图像和文本两种模态进行特征融合，得到注意力特征图；最后利用深度回归网络把多模态融合后的注意力特征图与数值化的用户人格特征进行建模训练，得到人格特征预测模型；本发明方法和装置的步骤简单明确，易于实现在社交媒体中，且具有较强的预测准确性和稳定性。