一种多模态下的互补物品的多样性推荐列表生成方法

摘要

本发明公开了一种基于多模态的互补物品的多样性推荐列表生成方法。针对互补推荐，本发明提出了一种基于图片、文本以及评分的多模态互补物品特征提取算法。结合卷积神经网络、文本向量化以及贝叶斯推断三种方法，使得推荐系统在互补物品的推荐上更准确；通过Bandits算法，使得推荐系统在互补物品推荐上更具多样性。

说明书

技术领域

本发明涉及深度学习、推荐系统领域，具体涉及一种多模态下的互补物品的多样性推荐列表生成方法。

背景技术

大数据、物联网等技术快速发展，互联网中的各类应用层出不穷导致了数据呈现爆炸式增长，由于数据量的庞大和冗杂，导致了严重的“信息过载”的问题。推荐系统就是解决这一问题的重要技术。

在人们买衣服的时候，总会有人问诸如这样的问题：“这件衬衫和那件牛仔裤配吗？”又或者在买电子产品诸如相机的时候，不知道要买哪些镜头以适配此相机？这些问题的产生就导致了推荐系统向更深的层次发展，互补替代推荐系统由此产生。

在现代的推荐系统中，了解产品之间的关系是很重要的。例如，当用户正在寻找手机时，推荐其它手机可能是有意义的，但是一旦他们购买了手机，我们可能会推荐电池、外壳或充电器，这两种类型的推荐被称为替代品和互补品：替代品是可以替代其它同类产品而相互购买的产品，而互补品是可以和其它同类产品同时购买的产品。

发明内容

本发明设计了一种多模态下的互补物品的多样性推荐列表生成方法。目前的互补替代推荐系统主要针对其准确性而进行很多深入研究。然而，在准确性逐步提高的情况下，互补推荐本身的其它一些属性没有得到重视，例如多样性研究。在保证互补推荐的准确性前提下，推荐列表的多样性也很重要，当推荐列表的多样性提升时，用户的接受程度也会变高，用户的参考方案也相应地变多。

本发明主要研究如何在互补推荐的准确性前提下提升推荐列表的多样性，最大化用户满意度，根据此问题提出了多模态下的互补物品的多样性推荐方法。该方法利用卷积神经网络、doc2vec和贝叶斯平均评分对互补物品的图像、描述文本以及评分信息进行特征表述，计算两个物品之间的特征距离。

首先获取数据集，对数据集进行预处理并获得训练数据集；根据获得的训练数据集，分别输入图片模型和评论文本模型，分别得到图片距离表示和文本距离表示矩阵；通过加入用户评分数据，利用贝叶斯推断原理，建立用户评分模型，得到评分距离，再根据获得的图片距离表示矩阵和文本距离表示矩阵，输入神经网络，将三种模态进行非线性组合，通过特征差异学习互补物品之间的关系，将互补关系最接近的前N项作为初步推荐列表；最后加入Bandits算法，将与初步推荐项目相同类别的用户浏览和购买的项目输入该算法，再取前N项作为最终获得的该项目的互补物品的多样性推荐列表；利用准确度、物品不相似程度作为算法的性能评价指标。因为替代推荐原理和互补类似，只是选取的输入数据集不一样，因此主要对互补推荐进行了更加详细的描述。综合实验结果表明，所提出的算法优于基线算法，有效提升了互补替代推荐的精度和多样性。

采用本发明所述的方法首先将图片数据、文本数据以及用户评分数据转化为高维向量，通过马氏变换矩阵实现降维，利用神经网络的非线性组合方式，得到物品与物品之间的互补替代关系程度，通过程度的计算得到最接近的互补替代物品，最后加入汤姆森采样方法得到互补物品的多样性推荐列表。

附图说明

图1是本发明所述的多模态下的互补物品的多样性推荐列表生成方法的系统框架图。

具体实施方式

下面结合附图和具体实施方式，对本发明做进一步地说明：

如图1所示，多模态下的互补物品的多样性推荐列表生成方法，首先获取数据集，对数据集进行预处理并获得处理好的数据，根据训练数据集，分别输入图片模型和评论文本模型，分别得到图片距离表示和文本距离表示矩阵；将图片距离表示矩阵和文本距离表示矩阵，输入神经网络，将三种模态进行非线性组合，通过特征差异学习互补物品之间的关系，将互补关系最接近的前N项作为初步推荐列表。

本实施例中选择亚马逊商城公开的数据集，亚马逊(Amazon)商城提供的公开数据集(Amazon product data)中的物品数量超过100万件，包含4千万个同购关系，29个类别，针对本实验设计，只选取其中5类商品，选取每件商品的图片、编号、标题、评论文本、评分以及同购关系，对于图片数据，利用卷积神经网络训练，获得每一个物品的4096维的向量表示，对于标题和评论文本，利用doc2vec技术实现文本向量化，其维度选取100维。

训练数据，将处理后的数据集的80％作为训练集，同时将剩下的20％作为测试集。并分为不同的批次送入模型并进行训练，为了提高准确性，采用5折交叉验证方式。

进一步地根据训练数据集得到图片距离表示和文本距离表示矩阵：

为获取项目的图片距离表示，将高维图片特征通过卷积神经网络(CNN，CNN模型通过ImageNet预训练过)进行特征提取，将CNN全连接层的第二层作为输出层，其维度为4096维，再通过马氏变换矩阵实现降维，得到图片的嵌入层，通过计算两个物品之间的马氏距离得到两个物品的图片距离表示。其中某个物品i与某个物品j的图片马氏距离可以表示为公式：

其中，m

为获取项目的文本距离表示，将对项目的嵌入采用doc2vec方法，把物品标题文本和评论文本结合形成统一的文本向量化表示，接着构建项目之间的文本距离表示模型，通过计算两个物品之间的马氏距离得到两个物品的文本距离表示。其中某个物品i与某个物品j的文本马氏距离可以表示为公式：

其中，t

进一步地，得到初步推荐列表包括以下步骤：

将用户评分通过贝叶斯推断原理得到物品的期望，贝叶斯推断是通过不断修正先验概率得到后验概率的过程，为了得到用户对物品的期望，首先定义随机变量：

该式表示物品i的第k个评分是好的还是坏的，r

其中，q

进一步地得到的图片和文本距离表示以及步骤一中的评分表示通过非线性组合的方式，利用神经方法训练，通过特征差异学习互补物品之间的关系，其可表示为：

c(I

用此作为神经网络的非对称合并层，加入权重W和偏置b，并使用tanh作为激活函数，得到距离表示为：

d

最终得到物品I

其中，η

定义损失函数为：

L＝-y

其中，y

通过以上步骤可以初步实现查询一个物品给出该物品的互补推荐列表，例如输入一个相机的图片、评论文本以及该物品的评分数据，模型会推荐出镜头、相机包、闪存卡等物品。

进一步地，生成互补物品的多样性推荐列表

Bandits算法分为朴素bandits算法(Epsilon-Greedy)、置信区间上界(UpperConfidence Bound)和汤姆森采样(Thompson Sampling)等算法，每一个算法都有其适应范围，根据实验验证最终选择汤姆森采样作为多样性推荐的主要方法；

Bandits算法中的汤姆森采样即假设有很多台赌博机，可以摇臂，有赢和输两种情况，将物品比作赌博机，用户评分就是赢和输的凭证，假设每一个臂都有收益，且都有一个概率分布，其中有收益的概率为p，经过摇臂试验，估计出一个置信度较高的“p的概率分布”，假设每一次的分布都服从贝塔分布，即p～Beta(wins,lose)，它具有两个参数，每次摇臂，有收益则这个臂的wins加1，无收益lose就加1，每次选臂的方式是，用每个臂当前的贝塔分布产生随机数b，选择所有b中最大的那个臂。进入步骤三；

在所有物品中搜寻与要求4中获得的初步推荐列表中的物品i的同类物品，将搜寻到的物品的评分放入Bandits算法，最终计算得到物品i的同类物品的用户喜好程度，将喜好程度最高的前N个物品作为物品i的更受欢迎物品集，最后得到初步推荐列表中所有物品的同类更受欢迎物品集，即获得互补物品的多样性推荐列表。

进一步地，推荐列表地评价指标

在互补推荐的准确性方面，P@k(Precision)在推荐领域准确度测量方法中被广泛使用，它表示前k项中正确推荐的项目的比例。另外，准确性的测量还可以用如下公式计算：

其中，当x＞0时，S(x)＝1，否则S(x)＝0。

在多样性方面，先计算D(R(u))，即每个用户u的推荐结果R(u)中，每两个物品的不相似程度，然后计算所有用户的推荐列表不相似程度的均值D，其公式表示如下：

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所做的等效结构或等流程变换，或直接或间接运用在相关技术领域，均同理包括在本发明的专利保护范围。