一种基于门机制和多模态图网络的会话社交推荐方法

摘要

本发明公开了一种基于门机制和多模态图网络的会话社交推荐方法。该方法基于用户历史交互序列和社交网络关系，对用户的兴趣和社交影响进行建模，来推荐用户在下一步最可能感兴趣的物品。本方法主要由三个部分组成：第一部分采用长短期记忆网络生成不同模态空间下的当前会话向量表征，目标用户在不同模态空间下的当前会话向量表征即是不同模态空间下的用户兴趣向量表征。第二部分是采用基于门机制的多模态图网络从社交网络中得到不同模态下朋友对目标用户的社交影响。第三部分是综合考虑用户兴趣和社交影响，预测用户下一个点击的物品。

说明书

技术领域

本发明属于互联网服务技术领域，尤其是涉及一种基于门机制和多模态图网络的会话社交推荐方法。

背景技术

很多在线平台，例如Yelp、Epinions等，允许用户在平台上分享自己的兴趣和经历，以及和其他用户进行互动。用户在平台上的行为信息非常丰富，通常来说用户的兴趣是多样和多变的。很多社交推荐方法在推荐物品的时候，同时考虑用户的短期兴趣、用户长期兴趣和社交影响，可以降低数据的稀疏度。将用户交互行为数据和用户的社交网络进行互补地结合，提高个性化推荐方法准确度是本发明的出发点。

大多数社交推荐方法采用矩阵分解模型，将用户的社交网络和用户的交互网络结合起来建模。近几年，随着图卷积网络(GCN)的发展，有些学者开始使用图卷积网络来学习朋友对目标用户的社交影响。如song等人采用GraphSAGE得到朋友对目标用户的社交影响，GraphSAGE是Hamilton等人提出的一种图卷积网络方法，它不需要输入整个用户的社交网络矩阵，是一种时间复杂度换空间复杂度的图方法。

以上方法虽然取得不错的效果，但是没有考虑到物品特征的多模态性。Chen等人在物品表征阶段采用注意力机制对多种模态进行选择，并生成物品向量表征。该方法只能算是将多模态特征向量相连接组成物品向量这种方法的进阶版本，没有充分利用物品多模态的丰富信息。本方法先基于序列表征方法得到所有用户在不同模态下的兴趣向量表征，然后采用基于门机制的多模态图网络进行模态融合。多模态社交图网络中用户兴趣特征信息非常丰富，一种模态下的用户兴趣表征对另一种模态下的用户兴趣表征既是一种信息的补充，也是一种节点信息传递的制约。本方法在社交图网络中传递节点模态信息时，节点之间传递相同模态信息的过程受到源节点的两种模态信息共同控制，该控制方法正是普遍应用在循环神经网络中的门机制。

发明内容

本发明所要解决的技术问题是基于用户历史交互序列和社交网络关系，对用户的兴趣和社交影响进行建模，来推荐用户在下一步最可能感兴趣的物品。本方法通过对用户兴趣和社交影响进行建模，来预测用户下一个点击的物品。为此，本发明采用以下技术方案：

一种基于门机制和多模态图网络的会话社交推荐方法，包括以下步骤：

构建目标用户u

G＝{U,E}

其中，U表示社交网络中目标用户u

使用长短期记忆网络生成不同模态空间下的会话向量表征，目标用户当前会话向量表征即是用户兴趣向量表征。构建用户会话向量表征，任一会话表示为S＝{v

z

其中，Q是物品的向量矩阵，Q(:,S)代表出现在会话S中所有的物品向量。LSTM具体公式为：

i

f

o

c

h

其中，不同模态的公式相同且参数不共享，因此公式中省略了模态参数m∈{a,b}。x

根据社交网络G，采用基于门机制的多模态图网络计算在不同模态下朋友对目标用户的社交影响。以下是多模态社交图网络中用户节点的模态a的信息传递过程：

其中，k代表社交网络G的搜索深度。N(i)是目标用户u

同样，多模态社交图网络中用户节点的模态b的信息传递过程相同，如下：

其中，k代表社交网络G的搜索深度。N(i)是目标用户u

结合目标用户兴趣和社交影响，获得用户最终向量表征。用户的兴趣由他当前会话行为和社交影响共同决定，用户的最终表示就由全连接层合并两者得到，令：

其中，

根据用户最终向量表征和物品向量表征，推荐物品。将物品v

其中，

其中，y

本发明的有益技术效果如下：

(1)本发明提出了一种基于门机制和多模态图网络的会话社交推荐方法。采用基于门机制的多模态网络来解决多模态信息在多模态图网络的传递问题，节点之间传递相同模态信息的过程受到源节点的多种模态共同控制。

(2)本发明是一种多模态的会话推荐方法。生成用户兴趣表征时，考虑物品模态内的转换关系，用长短期记忆网络分别对用户当前会话序列的多种模态进行建模。

(3)本发明是一种多模态的社交推荐方法，综合考虑用户的在不同模态下的当前兴趣和用户的社交网络中朋友在不同模态下对该用户的社交影响，进行更准确的推荐。

附图说明

图1为本发明一种基于门机制和多模态图网络的会话社交推荐方法的流程示意图；

图2为本发明一种基于门机制和多模态图网络的会话社交推荐方法的模型框架图；

图3为本发明一种基于门机制和多模态图网络的会话社交推荐方法的图网络节点的信息传递示意图。

具体实施方式

为了进一步理解本发明，下面结合具体实施方式对本发明提供的一种基于门机制和多模态图网络的会话社交推荐方法进行具体描述，但本发明并不限于此，该领域技术人员在本发明核心指导思想下做出的非本质改进和调整，仍然属于本发明的保护范围。

会话社交推荐任务是给定用户历史交互序列和社交网络关系，对用户的兴趣和社交影响进行建模，来推荐用户在下一步最可能感兴趣的物品。为了描述清楚，对用到的变量和公式给出相关定义。

定义1.U：用户集合。

定义2.V：物品集合。

定义3.G：关于用户和用户关系的社交网络。

定义4.N(i)：社交网络G中用户u

定义6.

定义7.

定义8.

定义5.

定义9.

定义10.

定义11.

为了给用户推荐下一步最可能感兴趣的物品，本发明提出了一种基于门机制和多模态图网络的会话社交推荐方法。本方法中物品的特征是多模态(multi-modal)的，特征包括物品主图和物品标题文字描述这两种模态。如何充分地利用物品的两种模态是本方法的重点，尤其是在社交网络中如何将两种模态进行有效融合。本方法先基于序列表征方法得到所有用户在不同模态下的兴趣向量表征，然后采用基于门机制的多模态图网络进行模态融合。基于门机制的多模态图网络是本方法的新颖之处。如图3所示，图3是多模态图网络中节点v

本方法主要由三个部分组成，如图2所示。第一部分采用长短期记忆网络生成不同模态空间下的当前会话向量表征，目标用户在不同模态空间下的当前会话向量表征即是不同模态空间下的用户兴趣向量表征。第二部分是采用基于门机制的多模态图网络从社交网络中得到不同模态下朋友对目标用户的社交影响。第三部分是综合考虑用户兴趣和社交影响，预测用户下一个点击的物品。

如图1所示，按照本发明的一个实施例，本方法包括如下步骤：

S100，构建目标用户u

G＝{U,E}

其中，U表示社交网络中目标用户u

S200，使用长短期记忆网络生成不同模态空间下的会话向量表征，目标用户当前会话向量表征即是用户兴趣向量表征。构建用户会话向量表征，任一会话表示为S＝{v

z

其中，Q是物品的向量矩阵，Q(:,S)代表出现在会话S中所有的物品向量。LSTM具体公式为：

i

f

o

c

h

其中，不同模态的公式相同且参数不共享，因此公式中省略了模态参数m∈{a,b}。x

S300，根据社交网络G，采用基于门机制的多模态图网络计算在不同模态下朋友对目标用户的社交影响。以下是多模态社交图网络中用户节点的模态a的信息传递过程：

其中，k代表社交网络G的搜索深度，本方法搜所深度设置为2。N(i)是目标用户u

同样，多模态社交图网络中用户节点的模态b的信息传递过程相同，如下：

其中，k代表社交网络G的搜索深度，本方法搜所深度设置为2。N(i)是目标用户u

S400，结合目标用户兴趣和社交影响，获得用户最终向量表征。用户的兴趣由他当前会话行为和社交影响共同决定，用户的最终表示就由全连接层合并两者得到，令：

其中，

S500，根据用户最终向量表征和物品向量表征，推荐物品。将物品v

其中，

其中，y

上述对实施例的描述是为方便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。