首页> 中国专利> 基于注意力机制的人格预测方法及系统

基于注意力机制的人格预测方法及系统

摘要

本发明提供一种基于注意力机制的人格预测方法及系统,涉及深度学习技术和人格预测技术领域。本发明首先获取用户人格数据和包括用户社交数据的用户行为数据;然后基于用户行为数据获取模型训练数据,并基于模型训练数据获取特征向量;再基于特征向量和注意力机制网络生成用户不同人格维度的用户特征向量;最后基于用户人格数据和用户不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型获取多任务人格预测模型,并基于多任务人格预测模型进行人格预测。本发明不仅提升了人格预测的精度和有效性,同时还提升了用户人格预测的整体效果。

著录项

  • 公开/公告号CN113837445A

    专利类型发明专利

  • 公开/公告日2021-12-24

    原文格式PDF

  • 申请/专利权人 合肥工业大学;

    申请/专利号CN202110997174.X

  • 申请日2021-08-27

  • 分类号G06Q10/04(20120101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101);G06Q50/00(20120101);

  • 代理机构11542 北京久诚知识产权代理事务所(特殊普通合伙);

  • 代理人余罡

  • 地址 230009 安徽省合肥市包河区屯溪路193号

  • 入库时间 2023-06-19 13:49:36

说明书

技术领域

本发明涉及深度学习技术和人格预测技术领域,具体涉及一种基于注意力机制的人格预测方法及系统。

背景技术

人格作为个人最主要的特征之一,是指个体在对人、对事、对己等方面的社会适应过程中行为上的内部倾向性和心理特征。人格特征会影响人的行为模式,同时,人的行为模式也能反映出个人的人格。随着互联网的迅速发展以及社交媒体平台的不断增加,用户在社交媒体平台上会产生多种行为,利用用户的多模态行为特征可以预测用户的人格特征,进而了解用户的心理特征,这对社交网络分析、产品推荐系统、欺骗检测、情感和意见挖掘等领域都有着重要价值。

现有技术在预测用户人格特征时多采用深度学习方法,对用户单一行为产生的数据(如用户文本数据或用户点赞数据)进行分析来预测用户的人格特征;或者简单串联用户的两种行为进行人格预测研究。

上述方法虽然能够在一定程度上对用户的人格进行预测,但是却存在不足:使用用户单一行为进行用户人格预测时,表现出的人格维度会因为数据单一而不完整;而简单串联用户两种行为进行人格预测,会由于未对不同行为影响用户不同人格维度的重要性进行区分,会使得人格预测精度较低。综上可知,现有技术在对用户人格进行预测时存在准确性低的问题。

发明内容

(一)解决的技术问题

针对现有技术的不足,本发明提供了一种基于注意力机制的人格预测方法及系统,解决了现有技术在对用户人格进行预测时存在准确性低的问题。

(二)技术方案

为实现以上目的,本发明通过以下技术方案予以实现:

第一方面,本发明首先提出了一种基于注意力机制的人格预测方法,所述方法包括:

获取用户人格数据和包括用户社交数据的用户行为数据;

基于所述用户行为数据获取模型训练数据,并基于所述模型训练数据获取特征向量;

基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量;

基于用户人格数据和不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型获取多任务人格预测模型,并基于所述多任务人格预测模型进行人格预测。

优选的,所述用户行为数据包括:用户文本数据、用户点赞数据和用户社交数据。

优选的,所述基于所述用户行为数据获取模型训练数据,并基于所述模型训练数据获取特征向量包括:

S21、分别基于预设值对所述用户文本数据、用户点赞数据和用户社交数据进行预处理,获取模型训练数据;所述模型训练数据包括文本训练数据、点赞训练数据和社交训练数据;

S22、基于所述文本训练数据利用Bert模型和卷积操作获取文本特征向量;基于点赞训练数据利用SVD奇异值分解方法获取偏好特征向量;基于社交训练数据利用Node2Vec方法获取用户的社交特征向量。

优选的,所述基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量包括:

将所述文本特征向量、偏好特征向量、社交特征向量输入到注意力机制网络中,获取每个特征在预测用户不同维度人格时所对应的权重,然后将每种特征向量乘以其对应的权重值并相加求和,获取用户不同人格维度的用户特征向量。

优选的,所述基于用户人格数据和不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型包括:

h

h’

h

h’

h

V

其中,V

第二方面,本发明还公开了一种基于注意力机制的人格预测系统,所述系统包括:

原始数据获取模块,获取用户人格数据和包括用户社交数据的用户行为数据;

特征向量获取模块,用于基于所述用户行为数据获取模型训练数据,并基于所述模型训练数据获取特征向量;

用户特征向量获取模块,基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量;

人格预测模块,用于基于用户人格数据和不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型,获取多任务人格预测模型,并基于所述多任务人格预测模型进行人格预测。

优选的,所述原始数据获取模块中所述用户行为数据包括:用户文本数据、用户点赞数据和用户社交数据。

优选的,所述特征向量获取模块中基于所述用户行为数据获取模型训练数据,并基于所述模型训练数据获取特征向量包括:

S21、分别基于预设值对所述用户文本数据、用户点赞数据和用户社交数据进行预处理,获取模型训练数据;所述模型训练数据包括文本训练数据、点赞训练数据和社交训练数据;

S22、基于所述文本训练数据利用Bert模型和卷积操作获取文本特征向量;基于点赞训练数据利用SVD奇异值分解方法获取偏好特征向量;基于社交训练数据利用Node2Vec方法获取用户的社交特征向量。

优选的,所述用户特征向量获取模块中基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量包括:

将所述文本特征向量、偏好特征向量、社交特征向量输入到注意力机制网络中,获取每个特征在预测用户不同维度人格时所对应的权重,然后将每种特征向量乘以其对应的权重值并相加求和,获取用户不同人格维度的用户特征向量。

优选的,所述人格预测模块中基于用户人格数据和不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型包括:

h

h’

h

h’

h

V

其中,V

(三)有益效果

本发明提供了一种基于注意力机制的人格预测方法及系统。与现有技术相比,具备以下有益效果:

1、本发明基于获取的包括用户社交数据的用户行为数据获取模型训练数据,并基于模型训练数据获取特征向量;然后基于特征向量和注意力机制网络生成用户不同人格维度的用户特征向量;最后基于获取的用户人格数据和用户不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型,最终获取多任务人格预测模型,利用所述多任务人格预测模型即可进行人格预测。本发明提升了人格预测的精度和有效性,同时本发明的预测模型可从不同维度预测用户的人格,相较于只能预测用户单个人格维度人格预测算法,不仅节省了计算资源,且可以更好地综合评估人格预测效果,提升用户人格预测的整体效果。

2、本发明选取和融合包括用户社交数据在内的多种用户行为数据,用于人格预测,不仅充分发挥了代表用户社交行为的用户社交数据对于人格预测的重要性和有效性,同时还弥补了单一特征对于用户人格预测不足的情况,提升了人格预测的精度。

3、本发明利用注意力机制学习每种用户行为特征对于不同人格维度的贡献权重,从而在五个人格维度预测时综合提升了预测精度。

4、本发明构建的多任务人格预测模型可以得到用户五个人格维度的评分,相较于针对单个人格维度单独建模优化预测的方法,不仅可以节省计算资源,还可以更好地综合评估人格预测效果,提升用户人格预测的整体效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例中基于注意力机制的人格预测方法的总流程图;

图2为本发明实施例中基于注意力机制的人格预测方法流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本申请实施例通过提供一种基于注意力机制的人格预测方法及系统,解决了现有技术在对用户人格进行预测时存在准确性低的问题,实现精准预测多任务人格的目的。

本申请实施例中的技术方案为解决上述技术问题,总体思路如下:

为了在整体上更精准的预测用户的人格评分,本发明融合了包括用户社交数据在内的多种用户行为数据;并利用注意力机制网络学习和生成不同用户行为特征对于各种维度人格预测的影响权重,经过训练之后,获取多任务人格预测模型,用户基于多任务人格预测模型便可进行人格预测。该方法提升了人格预测的精度和有效性,且在只构建一个模型的前提下,能从用户不同人格维度预测用户的人格评分,提升了用户人格预测的整体效果。

为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例1:

第一方面,本发明首先提出了一种基于注意力机制的人格预测方法,参见图1,该方法包括:

S1、获取用户人格数据和包括用户社交数据的用户行为数据;

S2、基于所述用户行为数据获取模型训练数据,并基于所述模型训练数据获取特征向量;

S3、基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量;

S4、基于用户人格数据和用户不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型,获取多任务人格预测模型,并基于所述多任务人格预测模型进行人格预测。

可见,本发明基于获取的包括用户社交数据的用户行为数据获取模型训练数据,并基于模型训练数据获取特征向量;然后基于特征向量和注意力机制网络生成用户不同人格维度的用户特征向量;最后基于获取的用户人格数据和用户不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型,最终获取多任务人格预测模型,利用所述多任务人格预测模型即可进行人格预测。本发明提升了人格预测的精度和有效性,同时本发明的预测模型可从不同维度预测用户的人格,相较于只能预测用户单个人格维度人格预测算法,不仅节省了计算资源,且可以更好地综合评估人格预测效果,提升用户人格预测的整体效果。

下面结合对具体步骤的解释,来详细说明本发明一个实施例的实现过程。参见图2,基于注意力机制的人格预测方法,具体为:

S1、获取用户人格数据和包括用户社交数据的用户行为数据。

本实施例从Facebook社交平台中获取用户的人格数据和包括用户社交数据的用户行为数据。具体的:

1)获取用户行为数据。用户行为数据主要包括用户发布状态(帖子)的用户文本数据、用户点赞数据和用户社交数据。

用户发布状态(帖子)的用户文本数据是指用户在社交媒体平台发布的状态内容,用户发布一个状态的文本内容看作一条记录,记为sent

用户点赞数据是指用户对其他用户发布的内容进行点赞的记录,用户点赞一条其他用户发布的内容作为一条记录,记为like

用户社交数据是指用户关注其它用户(例如,好友)的记录,用户关注其它用户记作一条社交好友记录,记为friend

2)获取用户人格数据。用户人格数据是大五人格的五个维度的得分,分值是1-5分之间的数。

大五人格是一种人格特质理论模型,是近年来被研究者支持最多且应用最广的人格表达形式。大五人格模型将人格划分成外向性、神经质、宜人性、尽责性和开放性的五个特质维度,可以基于各个特质维度给出定量的结果。在获取用户人格数据时,可以通过志愿者问卷数据分析获得大五人格的各维度分数。

S2、基于所述用户行为数据获取模型训练数据,并基于所述模型训练数据获取特征向量。

基于用户行为数据获取模型训练数据。对上述的用户文本数据、用户点赞数据和用户社交数据分别进行预处理,分别得到文本训练数据、点赞训练数据和社交训练数据。

首先,对上述被获取数据的用户进行筛选预处理,保留有效用户及其所对应的用户行为数据。保留的有效用户应同时满足以下条件:该用户发表状态条数超过预设值(本实施例中设定发表状态条数的预设值为19);该用户点赞其他用户的发表内容超过预设值(本实施例中设定点赞记录数据的预设值为1),且其点赞的项目内容超过预设值(本实施例中设定预设值为19);该用户的社交好友数量达到预设值(本实施例中设定社交好友数量的预设值为9)。即在本实施例中,保留:发布状态内容在20条,以及点赞其他用户发布的内容在2次及以上,且作为被点赞的项目即用户发布的内容被点赞次数在20次及以上,同时用户的社交好友数量在10个以上的用户,同时保留满足这些条件的用户的用户文本数据、用户点赞数据和用户社交数据。然后通过简单的数据统计,对上述数据进行过滤预处理,保留符合条件的数据用于接下来的处理及模型训练,即得到文本训练数据、点赞训练数据和社交训练数据。

基于模型训练数据获取特征向量。基于文本训练数据获取文本特征向量;基于点赞训练数据获取偏好特征向量;基于社交数据获取社交特征向量。具体的,

1)基于文本训练数据获取文本特征向量。

1.1)获取文本向量。对文本训练数据进行处理,对于用户发布的文本sent

sent

其中,sent

1.2)获取文本矩阵。对上述文本向量进行拼接处理,得到文本矩阵。文本矩阵D

D

其中,sent

1.3)获取文本特征向量。基于卷积操作对上述文本矩阵进行特征提取处理,得到文本特征向量。卷积操作通过两个卷积层实现,第一个卷积层的卷积核大小为3×3,即W

D

D

其中,D

2)基于点赞训练数据获取偏好特征向量。

用户点赞其他用户发布的状态内容记录,即用户的点赞历史记录,可记作:

其中,user

用户对其它用户产生的内容进行点赞,便作为一条点赞训练数据。如果用户点赞过该项目,记作值为1,否则为0,由此可构建用户项目点赞矩阵A,矩阵A可表示为:

然后,基于SVD奇异值分解方法获得每个用户的偏好特征向量。具体的,m*n维矩阵A被截断的SVD分解为:

其中,k表示SVD分解的奇异值个数,也是矩阵分解后的特征向量维度,且k<<min(m,n);U

经过上述处理后,获得128维的偏好特征向量。

3)基于社交训练数据获取社交特征向量。用户在社交媒体平台上可以关注其他用户形成社交关系,获取用户的社交历史记录,如果用户关注其它用户,即可作为一条社交好友记录,每一条社交好友记录作为一条社交训练数据,用户的所有社交训练数据构成一个社交网络G,可表示为:

其中,G中每一行表示user

构建社交网络G之后,为了能够更好的代表用户的社交行为,本实施例利用用户的社交好友关系,采用随机游走和Node2Vec方法学习用户和邻居好友的相似性及隐特征,然后利用深度学习方法提取用户的社交向量隐特征,便可以更加深刻的学习用户的社交特征,从而代表用户的社交行为,然后利用它预测用户人格,反映出用户社交行为的人格体现,最终提升用户人格预测效果。Node2Vec是用来产生网络中节点向量的模型,其输入的是网络结构,输出的是每个节点的向量。Node2Vec方法对节点网络中的节点通过特定游走方式进行采样,得到一系列的节点序列,将这些序列视为文本序列利用word2vec原理进行训练获得节点的向量。具体的,基于Node2Vec方法获得每个用户的社交特征向量,该过程可表示为:

S

其中,G

针对特定用户user

S3、基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量。

构造用户特征向量时,采用注意力机制网络,将上述文本特征向量、偏好特征向量、社交特征向量输入到注意力机制网络中,可以有针对性的学习得到文本行为、点赞偏好行为、社交行为训练的文本特征向量、偏好特征向量和社交特征向量对于每个人格维度的不同表现能力,从而学习得到用于预测各人格维度的每个行为特征对应的权重,然后将每种特征向量乘以其对应的权重值,并相加求和,从而对应生成用户不同人格维度的用户特征向量。如图2所示,图2中,Aspect Importance attention对应于学习各特征向量权重的注意力网络。

S4、基于用户人格数据和用户不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型,获取多任务人格预测模型,并基于所述多任务人格预测模型进行人格预测。

将表示用户不同人格维度的用户特征向量输入到预训练的基于注意力机制的人格预测模型中,基于Adam优化方法和预设的损失函数训练模型,得到多任务人格预测模型。具体过程如下:

h

h’

h

h’

h

其中,V

V

D

h

Relu为激活函数;

f

预设的损失函数为:

其中,loss表示各个人格维度预测任务的均方误差;y

通过Adam优化器对模型进行训练。Adam优化器是计算每个参数的自适应学习率的一种方法。Adam算法很容易实现,并且有很高的计算效率和较低的内存需求。Adam算法梯度的对角缩放具有不变性,很适合求解带有大规模数据或参数的问题。

经过训练后,得到多任务人格预测模型。如图2所示,图2中,DenseLayer为稠密层(即全连接层),是最后预测模型的三层全连接层。用户可以根据实际需求利用基于注意力机制的人格预测模型获取用户在每个人格维度的评分,从而达到精准预测用户人格的目的。

实施例2:

第二方面,本发明还提供了一种基于注意力机制的人格预测系统,该系统包括:

原始数据获取模块,获取用户人格数据和包括用户社交数据的用户行为数据;

特征向量获取模块,用于基于所述用户行为数据获取模型训练数据,并基于所述模型训练数据获取特征向量;

用户特征向量获取模块,基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量;

人格预测模块,用于基于用户人格数据和不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型,获取多任务人格预测模型,并基于所述多任务人格预测模型进行人格预测。

可选的,所述原始数据获取模块中所述用户行为数据包括:用户文本数据、用户点赞数据和用户社交数据。

可选的,所述特征向量获取模块中基于所述用户行为数据获取模型训练数据,并基于所述模型训练数据获取特征向量包括:

S21、分别基于预设值对所述用户文本数据、用户点赞数据和用户社交数据进行预处理,获取模型训练数据;所述模型训练数据包括文本训练数据、点赞训练数据和社交训练数据;

S22、基于所述文本训练数据利用Bert模型和卷积操作获取文本特征向量;基于点赞训练数据利用SVD奇异值分解方法获取偏好特征向量;基于社交训练数据利用Node2Vec方法获取用户的社交特征向量。

可选的,所述用户特征向量获取模块中基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量包括:

将所述文本特征向量、偏好特征向量、社交特征向量输入到注意力机制网络中,获取每个特征在预测用户不同维度人格时所对应的权重,然后将每种特征向量乘以其对应的权重值并相加求和,获取用户不同人格维度的用户特征向量。

可选的,所述人格预测模块中基于用户人格数据和不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型包括:

h

h’

h

h’

h

V

其中,V

可理解的是,本发明实施例提供的基于注意力机制的人格预测系统与上述基于注意力机制的人格预测方法相对应,其有关内容的解释、举例、有益效果等部分可以参照基于注意力机制的人格预测方法中的相应内容,此处不再赘述。

综上所述,与现有技术相比,具备以下有益效果:

1、本发明基于获取的包括用户社交数据的用户行为数据获取模型训练数据,并基于模型训练数据获取特征向量;然后基于特征向量和注意力机制网络生成用户不同人格维度的用户特征向量;最后基于获取的用户人格数据和用户不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型,最终获取多任务人格预测模型,利用所述多任务人格预测模型即可进行人格预测。本发明提升了人格预测的精度和有效性,同时本发明的预测模型可从不同维度预测用户的人格,相较于只能预测用户单个人格维度人格预测算法,不仅节省了计算资源,且可以更好地综合评估人格预测效果,提升用户人格预测的整体效果。

2、本发明选取和融合包括用户社交数据在内的多种用户行为数据,用于人格预测,不仅充分发挥了代表用户社交行为的用户社交数据对于人格预测的重要性和有效性,同时还弥补了单一特征对于用户人格预测不足的情况,提升了人格预测的精度。

3、本发明利用注意力机制学习每种用户行为特征对于不同人格维度的贡献权重,从而在五个人格维度预测时综合提升了预测精度。

4、本发明构建的多任务人格预测模型可以得到用户五个人格维度的评分,相较于针对单个人格维度单独建模优化预测的方法,不仅可以节省计算资源,还可以更好地综合评估人格预测效果,提升用户人格预测的整体效果。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号