基于多样化内容数据的个性化推荐系统

摘要

推荐系统是一种信息过滤工具，它旨在准确地预测用户对商品的偏好程度，从而把对用户更有价值的商品优先呈现给他们。随着互联网的迅猛发展，网络上存在的信息也在指数级增长，用户面临着信息量过载(information overload)的困难。为了提高用户对信息的利用效率，推荐系统的意义变得越来越重要，而如何构建更为精准的推荐系统，也成为近年来的一个研究热点。传统的推荐系统，往往面临着以下几个挑战:1）冷启动问题。对于新的用户，或者历史交互行为特别少的不活跃用户，推荐算法无法学习出他们的行为偏好;2）多源数据融合问题。当历史数据集中包含了多种来源的数据时，将多源数据简单地统一建模往往不能达到最优的效果;3）特征泛化问题。对于一些经典的基于内容的算法，例如逻辑回归(Logistic Regression)和梯度提升树(Gradient Boosting Decision Tree)，它们无法推算出在训练样本集中从未出现的特征匹配模式。本文着重研究如何基于互联网大数据来解决以上提到的几个问题，从而改进现有的推荐算法。互联网大数据的多样化特性可以体现在多个方面，包括异构性、多源性、多模态性等等，传统的推荐系统缺乏有效的针对这些数据特性的应对机制。特别的，本文在以下三个方面对推荐系统做了创新性研究:
　　(1)观察发现，在现实世界中，用户往往会使用多个产品，留下他们和不同产品之间的交互数据。如果研究员们能够整合多个产品的数据，把相同用户的行为关联起来，那么用户的行为数据将得到扩充，从而很大程度上缓解了推荐系统中的冷启动问题。为此本文提出了两个跨域推荐模型:结合内容过滤和协同过滤的神经网络推荐系统(CCCFNet)和多元化跨域推荐系统(MCDRS)。CCCFNet是一种混合推荐模型，即同时包含了内容过滤和协同过滤方法，从而充分利用用户和商品的交互数据以及用户、商品的固有属性数据。此外，CCCFNet把传统的推荐方法表示成神经网络形式，跨域推荐问题也被模型化成经典的多视角学习问题。与CCCFNet不同的是，MCDRS在联合训练多个数据源的时候，额外特别处理了跨域知识迁移的时候可能存在的用户行为习惯不一致的问题。
　　(2)如何将深度学习相关技术应用在推荐系统中是近两年来的一个研究热点。大部分现有的研究工作中，核心的深度学习模块采用的是多层全连接神经网络。真实产品中建模所采用的特征数据往往是多源的，具有极大的稀疏性，异构性和分布不均匀性，而单一同质的多层感知机并不是最有效的融合多源数据的方法。为此本文提出了深度融合模型(DFM)。一方面，引入了一个多路网络植入模块（inception），它包含了多个网络通道，每个通道是不同层次的神经网络。对于包含多种异构属性特征的数据集，inception模块可以比单一多层感知机更有效地学习特征的潜在嵌入信息(latent embeddings)。另一方面，提出了基于注意力模型(attention network)来融合用户的多源数据。因为不同用户在多个通道间的行为分布是不均匀的，需要根据实际情况，个性化地去融合来自不同通道的潜在嵌入信息，而不是简单的直接向量拼接方式。典型的商业推荐系统往往包含两个组件:物品召回组件和精排序组件。在这两个组件上我们的DFM模型都能得到方便有效的应用。
　　(3)深度学习技术在图像、语音和文本语言等领域的应用是最为成功的，最为典型的网络结构，例如卷积神经网络（CNN）和循环神经网络（RNN），也是针对这些领域的数据结构所设计的。然而，在推荐系统领域，与图像、自然语言等数据截然不同的是，样本数据往往是稀疏结构的、连续型和离散型混合的、多源化的，并不存在规整的局部特性。因此，在推荐系统中，许多学者们不是用深度学习技术去学习潜在特征，而是基于因子分解机(factorization machine)的框架，利用深层神经网络去学习特征间的交互作用。在这个研究方向上，本文提出了一种极深因子分解机模型(xDeepFM)，相比于已有的模型，它具有如下两个优势:第一，经典的多层神经网络只能够学习隐式的特征交互模式，而xDeepFM能够同时学习显式的和隐式的特征交互模式;第二，xDeepFM能够维持因子分解机的基本理念，让特征交互发生在特征的隐向量级别上，而对同一个隐向量内部的元素之间则没有多余的交互操作。本论文在三个实际的数据集上与目前主流的多个推荐算法做了比较，实验结果表明xDeepFM的两个特性对推荐的效果有很好的帮助。
　　总体而言，本文通过跨域知识迁移、多源数据融合和高阶特征组合等角度，展示了在面向多样化内容数据的推荐系统模型设计的相关研究工作。除此之外，本文还介绍了一些面向复杂内容数据的特征工程相关技术。因为企业级的推荐系统往往正需要使用多样化的复杂内容数据，本文所研究的内容将为现实应用带来一定的理论与实际意义。