基于深度学习的多模态微视频Hashtag推荐

摘要

Hashtag的使用为网络数据的组织和检索带来了极大的便利，可以缓解数据急速增长导致的“信息过载”问题，但是网络上大部分用户都没有使用Hashtag的习惯，使得Hashtag的优越性无法得到充分体现。因此，实现Hashtag的自动化推荐具有重要研究意义。现有Hashtag推荐的研究主要集中在纯文本或文本结合图片的微博领域，针对微视频的Hashtag推荐却还未获得足够关注。近年来，微视频社交逐渐成为人们生活娱乐的主要方式，使得实现微视频Hashtag自动化推荐日益迫切。微视频作为一种多模态数据，主要包括图像模态、音频模态以及文本模态，微视频三个模态之间相辅相成，相互补充。同时，近年来深度学习技术在图像、音频、文本等各个领域的应用收获了出色的成果。因此本文以微视频多模态数据为基础，以深度学习技术为支撑，进行微视频Hashtag推荐的研究。本文的内容主要包括：　　1、针对以往Hashtag推荐工作未曾考虑数据的情感特征和Hashtag的内容/情感分类信息的不足，本文提出了一个情感特征增强下的多模态微视频Hashtag推荐模型(TOAST)，模型的主要目标是提高情感类Hashtag的推荐效果，进而实现Hashtag推荐性能的整体提升。在提取了微视频各模态的内容特征和情感特征后，TOAST模型分别构建了微视频多模态数据的内容共同空间和情感共同空间，同时通过Hashtag分词引入外部知识增强Hashtag语义信息的学习，最后在进行Hashtag推荐决策时动态地捕获微视频多模态情感和多模态内容特征的不同重要性，提高推荐正确度。　　2、针对TOAST模型没有考虑用户个性化差异以及微视频不同模态重要性的不足，提出了一个微视频Hashtag个性化推荐模型(GCN-SMPHR)。该模型在微视频多模态情感共同空间和内容共同空间下通过自注意力机制动态调整微视频不同模态的重要性权重，同时通过图卷积神经网络捕获用户、微视频以及Hashtag三者间的复杂交互关系，学习用户表达，实现个性化推荐。　　3、为验证TOAST模型和GCN-SMPHR模型的有效性，本文在从Vine网站上爬取的真实数据集上进行了大量的实验，实验结果表明TOAST模型和GCN-SMPHR模型相比其各自的对比模型都取得了更好的推荐效果。考虑微视频的多模态信息、微视频的情感特征、Hashtag语义信息以及用户个性化特征确实能提高Hashtag推荐的性能。

目录

声明

第1章 绪论

1.1 课题背景

1.2 课题研究目标及意义

1.2.1 课题研究目标

1.2.2 课题研究意义

1.3 国内外研究现状

1.3.1 基于简单统计方法的 Hashtag 推荐

1.3.2 基于机器学习方法的 Hashtag 推荐

1.3.3 基于主题模型的 Hashtag 推荐

1.3.4 基于深度学习的 Hashtag 推荐

1.3.5 基于图网络的 Hashtag 推荐

1.4 本文的研究重点

1.5 论文的组织结构

第2章 相关理论基础及背景知识

2.1 多模态定义

2.2 多模态数据的特点

2.3 多模态融合方式

2.4 Hashtag 简介

2.5 相关技术

2.5.1 注意力机制

2.5.2 双向长短时记忆网络

2.5.2 图卷积神经网络

2.6 本章小结

第3章 情感特征增强下的微视频 Hashtag 推荐

3.1 问题提出

3.1.1 微视频 Hashtag 推荐存在的挑战及问题

3.1.2 本文的解决策略

3.2 符号表示及问题定义

3.3 微视频多模态特征提取及 Hashtag 语义信息学习

3.3.1 图像模态特征提取

3.3.2 音频模态特征提取

3.3.3 文本模态特征提取

3.3.4 Hashtag 语义信息学习

3.4 情感特征增强下的微视频 Hashtag 推荐模型

3.4.1 情感共同空间学习模块

3.4.2 基于自注意力机制的内容共同空间学习模块

3.4.3 Hashtag 预测模块

3.4.4 损失函数

3.5 实验方案与准备

3.5.1 实验数据集

3.5.2 实验参数设置

3.5.3 实验评估方法与评估指标

3.6 实验分析

3.6.1 模型对比和整体分析

3.6.2模态组合性能分析

3.6.3 情感特征有效性分析

3.6.4 可视化推荐结果分析

3.7 本章小结

第4章 图网络微视频 Hashtag 个性化推荐模型

4.1 动机分析

4.2 模型介绍

4.2.1 自注意力机制识别模态重要性

4.2.2 图卷积神经网络用户特征学习

4.2.3 用户识别下的微视频和 Hashtag 表征学习

4.2.4 Hashtag 预测与损失函数

4.3 实验准备和参数设置

4.4 GCN-SMPHR 模型相关实验和分析

4.4.1 性能比较

4.4.2 分析 GCN-SMPHR 模型

4.4.3 样例分析

4.5 本章小结

结论

参考文献

附录 A 攻读硕士学位期间发表的学术论文目录

致谢