公开/公告号CN112199550A
专利类型发明专利
公开/公告日2021-01-08
原文格式PDF
申请/专利权人 浙江大学山东工业技术研究院;
申请/专利号CN202010937121.4
申请日2020-09-08
分类号G06F16/735(20190101);G06F16/78(20190101);G06N3/04(20060101);G06N3/08(20060101);
代理机构33261 杭州橙知果专利代理事务所(特殊普通合伙);
代理人贺龙萍
地址 277000 山东省枣庄市高新区互联网小镇15号楼401房间
入库时间 2023-06-19 09:29:07
技术领域
本发明属于互联网服务技术领域,尤其是涉及一种基于情感胶囊网络的短视频点击率预测方法。
背景技术
短视频是一种新型的且时间较短的视频。短视频的拍摄不需要使用专业设备,也不需要专业技巧。用户直接通过手机就可以很方便地进行拍摄和上传到短视频平台,因此短视频平台的短视频数量增长得非常快。这使得对有效短视频推荐系统的需求非常迫切,有效的短视频推荐系统可以提升用户体验和用户黏性,从而给平台带来巨大的商业价值。
近些年,很多研究者提出了基于视频的个性化推荐方法。这些方法可以分为三类:协同过滤、基于内容的推荐和混合推荐方法。但是相比于视频,短视频有着不同的特点:描述文本质量较低、时长较短且用户在一段时间内的交互序列较长。因此,短视频推荐是一个更具有挑战性的任务,并且有研究者提出了一些方法。例如,Wei等人采用图卷积结构去融合短视频的多模态信息,进而更好地模拟用户的偏好;Chen等人利用分层的注意力机制去计算物品和类目这两种级别的重要性,得到更准确的预测结果。
尽管这些方法取得不错的结果,但是这些结构只采用了用户的正反馈信息而忽略了负反馈信息。负反馈信息指用户看了短视频的封面,却没有点击观看的行为。最近的研究成果中,Li等人结合正负反馈数据,并使用基于图的循环神经网络去建模,最后得到用户的偏好。但是他们计算的是用户对短视频整体的偏好,实际上,视频有很多模块且用户对视频的不同模块有不同的情感和偏好。并且他们直接将正反馈和负反馈的预测结果加权求和,而没有细粒度地讨论正反馈和负反馈的具体作用。
发明内容
本发明所要解决的技术问题是提供一种利用短视频平台中用户的正反馈和负反馈数据,判断用户对目标短视频每个模块的情感,细粒度地预测用户对当前短视频的点击率的基于情感胶囊网络的短视频点击率预测方法。为此,本发明采用以下技术方案:
一种基于情感胶囊网络的短视频点击率预测方法,包括以下步骤:
S1、将用户行为序列分割成块序列;
S2、采用门机制从用户块序列和目标短视频中抽取模块特征,分别为用户块序列模块特征和目标短视频模块特征;
S3、利用情感胶囊网络获得用户对目标短视频的情感表征,通过胶囊网络从低层的模块特征抽取出情感特征,分析用户对短视频不同模块的情感来预测点击率,所述情感分为正面、负面和中立;
所述正面情感的数据来源于用户的正反馈序列,所述负面情感的数据来源于用户的负反馈序列,所述中立情感的数据来源于正反馈序列和负反馈序列的共同部分;
S4、根据情感特征,预测用户对目标短视频的点击率;
S5、根据模型特性,设计损失函数;
S6、采用Adam优化器更新模型参数。
其中,短视频由更细粒度的模块(比如,视频场景、视频主题、视频情绪) 组成;所述情感分为正面(positive)、负面(negative)和中立(neutral),在下述的公式中分别以三种情感的英文前3个字母来进行论证。
进一步地,正面情感的数据来源于用户的正反馈序列,负面情感的数据来源于用户的负反馈序列,而中立情感的数据来源于正反馈序列和负反馈序列的共同部分,这种结构和传统胶囊网络的全连接性不同,也是本方法的创新之处。
在采用上述技术方案的基础上,本发明还可采用以下进一步的技术方案:
所述步骤S1还包括:
S11、用长度为w的窗口将一个用户的点击行为序列
其中,
S12、采用相同的方式处理用户的负反馈信息,得到负反馈的块表征
所述步骤S2的计算方法如下:
其中,
所述步骤S2还包括:
S21、得到每个块的每个模块向量表征之后,采用平均池将所有的块中同一个模块信息聚合:
其中,m是块的个数,该公式从正反馈序列中得到M个模块特征
S22、采用相同的办法从负反馈序列中得到M个模块特征
本方法从点击序列中抽取正面情感,从未点击序列中抽取负面情感。进一步地,有些模块特征经常同时出现在用户的点击和未点击序列中,那么用户对这类模块持有中立情感。因此,所述步骤S3还包括:
S31、把从用户序列抽取到的模块特征和目标短视频的模块特征一一配对,组合成激活单元:
其中,
S32、采用相同的方法,得到负反馈序列的激活单元
S33、采用情感胶囊网络,从正反馈抽取出的激活单元中抽取情感特征:
其中,s∈{pos,neu},
g是胶囊网络中常用的向量激活函数(squash activation),公式如下:
其中,||·||代表向量的长度;
S34、采用情感胶囊网络,从负反馈抽取出的激活单元中抽取情感特征:
负面情感胶囊v
其中,s∈{neg,neu};
S35、从正反馈和负反馈序列中抽取得到中立情感胶囊:
进一步地,改进连接系数
S301、增加温度系数,增加温度系数改进动态路由系数
其中,p∈{+,-}且s∈{pos,neg,neu};
S302、考虑短视频不同模块的重要程度,激活单元的长度可以说明模块的重要程度。因此,依据不同短视频模块的重要程度修正动态路由系数
其中,
所述步骤S4还包括给定情感胶囊v
其中,s∈{pos,neg,neu},
所述步骤S5包括:
S51、通过用户对目标短视频的点击率预测值
其中,y∈{0,1}是真实值,代表用户是否点击了目标短视频;σ是sigmoid 函数;
S52、为了保证情感胶囊网络可以正确捕捉到细粒度的情感,增加边缘损失函数L
所述边缘损失函数L
其中,
不一致正则(disagreement regularization)使得M个模块向量q趋向不一致,尽量从短视频中抽取出不同模块特征,不一致正则项L
其中,M是模块向量q的个数。
本发明的有益技术效果如下:
(1)本发明提出了一个基于情感胶囊网络的短视频点击率预测方法,该方法利用门机制和情感胶囊网络,从用户的正反馈和负反馈信息中分析用户对短视频不同模块的不同情感,进而得到更准确的预测。
(2)本发明提出了一种新的情感胶囊网络框架,从用户短视频序列的不同模块中抽取出用户的正面、负面和中立的情感。并且对胶囊网络的框架和动态路由算法做出了改进。
(3)本发明基于两份公开的短视频数据做了大量实验,证明本方法比最新的方法在同样的数据中可以得到更好的效果。
附图说明
图1为本发明一种基于情感胶囊网络的短视频点击率预测方法的流程示意图;
图2为本发明一种基于情感胶囊网络的短视频点击率预测方法的模型框架图;
图3为本发明一种基于情感胶囊网络的短视频点击率预测方法的用户正反馈和负反馈信息图。
具体实施方式
为了进一步理解本发明,下面结合具体实施方式对本发明提供的一种基于情感胶囊网络的短视频点击率预测方法进行具体描述,但本发明并不限于此,该领域技术人员在本发明核心指导思想下做出的非本质改进和调整,仍然属于本发明的保护范围。
短视频点击率预测任务是建立一个模型去预测用户点击短视频的概率。
用户的历史序列表示为
为此,本发明提出了一种基于情感胶囊网络的短视频点击率预测方法。它根据用户对短视频的正反馈和负反馈信息,挖掘出用户对短视频不同模块的情感,预测用户对目标短视频的点击率。这里的正反馈是指用户点击了短视频;负反馈是指平台展示了短视频的封面,但是用户没有点击短视频,说明用户对短视频没有兴趣。本方法认为用户对短视频的不同模块(aspect)有不同的情感(sentiment),且预测用户对目标短视频的点击率,应该分析用户对短视频不同模块的偏好。如图3所示,一个短视频有三种模块:视频场景、视频主题、视频情绪。从用户的点击和未点击行为中,我们可以发现用户喜欢美人相关的视频主题以及积极的视频情绪,而不喜欢动物相关的主题和负面的视频情绪。进一步地,用户对视频场景持中立态度。
本方法主要由三个部分组成,如图2所示。第一个部分是采用门机制从用户正反馈和负反馈信息中抽取模块特征(aspect feature),同时从目标短视频中采用同样方法抽取模块特征。第二个部分是将以上两种模块特征进行一一配对,组合成激活单元,输入到情感胶囊网络,预测用户对短视频的不同模块的情感。第三个部分是基于用户对当前短视频的情感特征,进行短视频点击率的预测。
如图1所示,按照本发明的一个实施例,本方法包括如下步骤:
S100,将用户行为序列分割成块(block)序列。对于一个用户的点击行为序列
此时,每个块特征表征的计算方式如下:
其中,
S200,从用户块序列和目标短视频中抽取模块特征,短视频由更细粒度的模块(比如,视频场景、视频主题、视频情绪)组成。
本方法采用门机制抽取模块特征,下面公式是抽取第k个块的第i个模块:
其中,W
其中,m是块的个数。最后我们可以从正反馈序列中得到M个
S300,利用情感胶囊网络,获得用户对目标短视频的情感表征。对于一个目标短视频,本方法通过分析用户对短视频不同模块的情感来预测点击率。本方法采用胶囊网络,从低层的模块特征抽取出情感特征。情感有三种,分别为:正面(positive)、负面(negative)和中立(neutral)。本方法从点击序列中抽取正面情感,从未点击序列中抽取负面情感。进一步地,有些模块特征经常同时出现在用户的点击和未点击序列中,那么用户对这类模块持有中立情感。这类情感对预测也起到一定作用,尤其是在负面和正面情感不明显的时候。
首先,我们把从用户序列抽取到的模块特征和目标短视频的模块特征一一配对,组合成激活单元:
其中,
其中,||·||代表向量的长度。采用相同的方法,可以得到负反馈序列的激活单元
其中,s∈{pos,neu},
同样,这里的g是胶囊网络中常用的激活函数(squash),且
同样地,负面情感胶囊v
其中,s∈{neg,neu}。
而中立情感胶囊是从正反馈和负反馈序列中抽取得到的:
所以,正面情感的数据来源于用户的正反馈序列,负面情感的数据来源于用户的负反馈序列,而中立情感的数据来源于正反馈序列和负反馈序列的共同部分。这种结构和传统胶囊网络的全连接性不同,也是本方法的创新之处。为了增加情感胶囊之间的区分性,我们进一步改进
其中,p∈{+,-}并且s∈{pos,neg,neu}。
第二点是考虑短视频不同模块的重要程度,激活单元的长度可以说明的模块的重要程度。我们利用激活单元的长度去修正
其中,
S400,根据情感特征,预测用户对目标短视频的点击率。给定情感胶囊v
其中,s∈{pos,neg,neu},
S500,根据模型特性,设计损失函数。通过用户对目标短视频的点击率预测值
其中,y∈{0,1}是真实值,代表用户是否点击了目标短视频。σ是sigmoid 函数。
同时,为了保证情感胶囊网络可以正确捕捉到细粒度的情感,增加边缘损失函数(margin loss)作为正则项:
其中,
进一步地,本方法还引入不一致正则(disagreement regularization)使得M个模块向量q趋向不一致,尽量从短视频中抽取出不同模块特征:
最后将交叉熵损失函数和两个正则项组合起来,得到完整的损失函数为:
其中,在我们的实验中,λ
上述对实施例的描述是为方便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于上述实施例,本领域技术人员根据本发明的揭示,对于本发明做出的改进和修改都应该在本发明的保护范围之内。
机译: 一种基于自然语言表达情感的系统和方法,以使虚拟角色对人做出反应,并在人对虚拟角色说话时表达情感
机译: 基于词性和情感分析装置的词性对社交网络服务中的消息进行情感分析的方法
机译: 基于价格波动和卷积神经网络的情感词典构建的句子情感分类系统及方法