针对上下文感知型的图卷积推荐系统

摘要

本发明公开了一种针对上下文感知型的图卷积推荐系统，包括：编码器、图卷积层以及解码器；编码器为输入的用户信息、物品信息和上下文信息的每个非零特征关联一个隐空间矢量，并从用户信息、物品信息和上下文信息三个域将这些隐空间矢量进行组合；图卷积层中，基于预先构造的带属性的用户‑物品二分图，并结合编码器的输出进行图卷积操作，通过若干次图卷积操作获得用户与物品的最终特征表征；所述解码器，基于用户与物品的最终特征表征以及上下文信息的关联嵌入集合，预测用户在上下文信息下对物品的喜好程度。该系统是一种通用的、适合线上服务的推荐系统框架，既能结合各种辅助信息，又能捕捉协同过滤效应，提升模型性能。

说明书

技术领域

本发明涉及推荐系统和图数据挖掘领域，尤其涉及一种针对上下文感知型的图卷积推荐系统。

背景技术

个性化推荐系统作为缓解信息过载和改善用户体验的重要工具，已成为当下互联网中一项不可或缺的服务。协同过滤模型是最具代表性的推荐模型之一，它利用用户和物品的历史交互记录，比如点击、购买等，将每个用户和物品映射到高维向量空间，通过计算向量间的相似性来进行个性化推荐。近期，由于图神经网络(GNN)在图像处理、自然语言处理等领域取得了巨大的成功，越来越多的研究人员将GNN引入推荐系统，将协同过滤信号建模成用户-物品二分图的高阶连通性，从而改善模型的性能。协同过滤模型虽然提供了一种通用的解决方案，但它也有一些固有的缺点，比如无法利用交互相关的上下文信息，即用户-物品二分图并未包含上下文信息，而这些信息往往能对用户的选择产生重大影响。例如在餐饮推荐场景中，时间和地点这两个因素能有效地过滤掉不合适的候选集，在电商推荐场景中，用户的购买倾向往往与近期的消费行为高度相近。因此开发一套能综合考虑各种辅助信息的上下文感知型推荐系统(Context-Aware Recommender System,CARS)是至关重要的。

现有的CARS模型一般都沿用分解机模型(FactorizationMachine,FM)的范式，将问题转化成标准的有监督学习任务。具体来讲，它通过多热编码(Multi-hot Encoding)的方式将与一次交互记录相关的所有信息编码成一条特征矢量，之后采用不同特征交互模块来建模特征间的交互，进而预测此次记录中用户对物品的喜好。随着近几年神经网络的兴起，特征交互模块被各种结构的神经网络替换来增强其表达能力。综合分析近期的CARS进展，我们发现它们存在如下的不足：1)它们采用标准的有监督学习策略，忽略了数据样本之间的联动，这将导致学习的模型无法很好地捕捉协同过滤效应，因为识别协同过滤效应需要同时考虑多条交互记录；2)它们往往具有很高的复杂度，因为它们为了能建模复杂的特征交互而采用精心设计的网络结构，而在线上服务时，需要对每一个用户-候选物品对都经过一次网络前向传播，这种低效、耗时的推断(inference)策略不适合用在线上服务。

发明内容

本发明的目的是提供一种针对上下文感知型的图卷积推荐系统，它是一种通用的、适合线上服务的推荐系统框架，既能结合各种辅助信息，又能捕捉协同过滤效应，提升模型性能。

本发明的目的是通过以下技术方案实现的：

一种针对上下文感知型的图卷积推荐系统，包括：编码器、图卷积层以及解码器；

所述编码器为输入的用户信息、物品信息和上下文信息的每个非零特征关联一个隐空间矢量，并从用户信息、物品信息和上下文信息三个域将这些隐空间矢量进行组合，输出用户与物品的初始表征以及上下文信息的关联嵌入集合；

所述图卷积层中，基于预先构造的带属性的用户-物品二分图，并结合编码器的输出进行图卷积操作，通过若干次图卷积操作获得用户与物品的最终特征表征；

所述解码器，基于用户与物品的最终特征表征以及上下文信息的关联嵌入集合，来预测用户在上下文信息下对物品的喜好程度。

上述本发明提供的技术方案相对于现有的基于神经网络的CARS模型而言主要具有如下优点：1)测试的精度显著提高。2)系统参数量少，且模型推断速度快。3)图卷积操作能有效提高系统的表达和泛化能力。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种针对上下文感知型的图卷积推荐系统的示意图；

图2为本发明实施例提供的数据结构及其转换为带属性的用户-物品二分图的示意图；

图3为本发明实施例提供的两个数据集下图卷积层数及是否对上下文建模的影响的的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种针对上下文感知型的图卷积推荐系统，它是一种通用的、适合线上服务的推荐系统框架，既能结合各种辅助信息，又能捕捉协同过滤效应，提升模型性能。

如图1所示，为针对上下文感知型的图卷积推荐系统的示意图，主要包括：编码器、图卷积层以及解码器；

所述编码器为输入的用户信息、物品信息和上下文信息的每个非零特征关联一个隐空间矢量，并从用户信息、物品信息和上下文信息三个域将这些隐空间矢量进行组合，输出用户与物品的初始表征以及上下文信息的关联嵌入(embedding)集合；

所述图卷积层中，基于预先构造的带属性的用户-物品二分图，并结合编码器的输出进行图卷积操作，通过若干次图卷积操作获得用户与物品的最终特征表征；

所述解码器，基于用户与物品的最终特征表征以及上下文信息的关联嵌入集合，来预测用户在上下文信息下对物品的喜好程度。

为了便于理解，下面针对上述系统的原理及其工作过程做详细介绍。

一、数据结构。

为了高效地组织与交互相关的各种信息，将信息划分为四种类型：用户及其静态画像、物品及其静态属性、动态上下文信息和交互记录。本发明实施例中，上下文信息是对现实的交互场景的抽象描述，因此，上下文信息也可以称为上下文场景。用户静态画像(也即前文所述的用户信息)是指用户自身的属性，比如其年龄、职业等。物品的静态属性(也即前文所述的物品信息)是指物品的相关属性信息。

如图2所示，上述信息组成混合数据结构，混合数据结构相比于传统的CARS数据形式具有更强的描述能力，比如它可以描述一个用户在不同上下文场景下交互同一个物品。进一步的，将上述信息组成的混合数据结构转换为带属性的用户-物品二分图，使之适用于图神经网络。图2右侧为用户-物品二分图，u、i分别为一个用户、一个物品经过多热编码后的高维稀疏特征矢量；c表示一个上下文信息经过多热编码后的特征矢量，二分图中包含两类节点，即用户节点(矩形表示)与物品节点(圆形表示)，用户节点与物品节点的特征即为编码器输出各自的特征；用户节点与物品节点的连边表示二者的交互记录，连边的特征为上下文特征(即c

二、系统模型的结构及其工作过程。

系统模型结果如图1所示，主要包括编码器、图卷积层、解码器三个部分。

1、编码器。

编码器的输入是经过多热编码后的稀疏特征矢量，这个稀疏特征矢量只有几个非零元素，即“非零特征”。以用户域为例，一个用户信息可以包括：用户ID，年龄，性别，职业等，将这些信息的特征经过多热编码后得到一个高维稀疏的特征矢量，本发明为特征矢量中的每个非零特征关联一个隐空间矢量，这样一个用户就有多个隐空间矢量来对其进行描述。之后，编码器将这些隐空间矢量进行组合，得到用户的初始表征，编码器对物品域的操作同理，公式化表示为：

上式中，u、i分别表示用户、物品的索引，P表示与所有用户特征相关联的嵌入矩阵(每个特征关联一个隐空间矢量，所有隐空间矢量拼接成一个矩阵，矩阵的第k行表示第k个用户特征的嵌入矢量，记为P

需要提到的是，在后面的图卷积层中，我们并未对上下文信息的嵌入矢量进行更新，因此编码器并没对其进行池化操作，而仅仅执行了原始特征与隐空间矢量的关联。这样，编码器的输出包括用户u初始表征

本发明实施例中，对于用户而言，可以包括性别、年龄、职业等特征；对于物品而言，可以包括物品的品牌、类别、价格等特征，根据场景的不同，这些信息也有所差异。本发明不对用户特征、物品特征的种类进行限定，理论上来说，本发明可以处理任何类型的信息。

本领域技术人员可以理解，隐空间矢量的维度是模型的一个超参，针对不同的场景，维度是可以调整的。

2、图卷积层。

图卷积层是用来解决现有基于有监督学习策略CARS模型的不足，它利用用户-物品全部的交互数据，通过显性地捕捉协同过滤效应来改善用户和物品的表征。在预先构造的带属性二分图中，用户节点和物品节点之间的连边携带着上下文特征，这些特征对理解依赖于上下文的交互模式是非常重要的，因此，如果将上下文特征融入图卷积操作中能学习到更精确的用户和物品表征。基于此，本发明实施例中提出了一种新的图卷积操作，表示为：

其中，

图卷积操作的合理性分析：从用户的角度来说，

考虑到不同的图卷积层的语义是不同的，通过L层的图卷积操作后，采用下述方式进行整合，得到用户与物品的最终特征表征：

其中，α

3、解码器。

解码器的作用是使用图卷积层获得的表征来预测用户在上下文信息下对物品的喜好程度。可以采用FM作为核心组件，因为它是线性模型，而且相比于多层感知机具有更好的可解释性，其公式化表示如下：

其中，

需要注意的是，本发明实施例中的解码器跟原始FM略有些不同：之前的编码器和图卷积层已经将一个用户(或物品)的所有特征映射成一个矢量，这样带来的好处是系统模型能更加关注域间的特征交互，而减少域内特征交互带来的干扰。

4、模型优化。

为了优化模型参数，选择在推荐系统中经常被采用的Log loss(对数损失函数)作为模型的优化目标，其公式化表示如下：

其中，

本发明实施例上述系统，跟现有的基于神经网络的CARS模型相比有如下优点：1)测试的精度显著提高。2)模型参数量少，且模型推断速度快。3)所提出的图卷积操作能有效提高模型的表达和泛化能力。

对于上述优点，在三个数据集上做了详尽的实验来证明，表1是三个数据集的数据统计：

表1数据集的数据统计

1、测试的精度显著提高：与多个基准模型比较，发现本发明(GCM)在三个真实数据集上精度平均提升了13.1％，涉及的基准模型包括：1)矩阵分解模型MF(Koren et al.,IEEE computer Journal 2009)是一种经典的协同过滤模型，它仅使用用户和物品的交互来进行表征学习。2)LightGCN(He et al.,SIGIR 2020)是一种基于图的协同过滤模型，但没有考虑用户、物品的额外特征和上下文信息。3)分解机模型FM(Steffen Rendle,ICDM2010)将交互相关的所有信息转化成特征向量并利用特征的二阶交互来建模用户的喜好。4)NFM(He et al.,SIGIR 2017)利用多层感知机来捕捉用户、物品和上下文信息的特征间的非线性以及高阶交互。5)xDeepFM(Lian et al.,SIGKDD 2018)是最近提出的一个基于神经网络分解机模型，它结合了显式和隐式的特征高阶交互。6)GIN(Li et al.,SIGIR 2019)是一种基于图的推荐模型，它在构建的商品相似图上利用注意力机制来挖掘用户的意图。实验结果如表2所示：

表2实验结果

可以看到，在三个数据集上，本发明的所有指标都要优于现有的模型，将其性能提升归因于：1)本发明在带属性的二分图中进行嵌入(embedding)传播，提取来自邻居节点的有用信息来提高系统模型的表达力；2)与只在图上传播物品嵌入的GIN模型不同，本发明将用户、物品和上下文的表征集成到图中进行信息传播，这样可以学习到更加统一的表征；3)在获得了精确的表征后，本发明进一步采用FM来显式地建模特征间的交互，这一点可以从表3中得到验证。表3中GCM-MLP表示解码器使用MLP，GCM-MF解码器使用矩阵分解模型。

表3不同模型的验证结果

2、系统模型参数量少，且模型推断速度快：GCM的所有训练参数均来自编码器，即用户、物品和上下文的特征嵌入，也即P、Q和所有的v。假设用户、物品和上下文三个域的特征数量分别为U,I,C，嵌入的维度为D，则总的参数量为(U+I+C)×D，这与最简单的基于嵌入的模型FM是一模一样的。得益于GCM的三层架构，在线下训练好模型后，只需执行一次图卷积层前向传播就可以获得所有用户和物品的最终表征，进而在线上服务时只需要执行解码器部分，从而获得与FM相似的线上时间复杂度。

表4给出了对1000个Yelp-OH用户进行线上服务的时耗，可以看到，GCM远远快于其他基于神经网络的CARS模型。表4中模型CFM(Xin et al.,IJCAI 2019)使用外积做特征间的两两二阶交互，之后结合卷积神经网络来提取交互模式。

表4不同模型的线上服务耗时

3、图卷积操作能有效提高模型的表达和泛化能力：图卷积层是GCM的核心，可以从两个方面来验证它的合理性和有效性：1)图卷积层的数量；2)上下文信息的建模。从图3可以看到，GCM随着层数的增加，不断收集来自多跳邻居的有效信息，其表达能力得到加强，同时，如果忽略对上下文进行建模，模型的泛化能力有所下降，且容易出现过平滑现象。图3中的模型GCM-C也是GCM的一个变种，相比于GCM而言，它在图卷积层中不使用上下文信息，而仅使用用户和物品的信息。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。