基于多源数据的视频语义分析与推荐技术研究

摘要

随着互联网的快速发展，网络上出现了越来越多的视频。在科学研究以及商业领域对视频信息的需求也愈发强烈，对于普通用户而言，能快速准确地从海量的视频库中找出感兴趣的视频并不容易，因此，视频推荐成为了一个热门的研究方向。并且，随着越来越多的用户上传自己拍摄的视频，各大视频网站越来越重视这些自创视频。然而，传统的基于协同过滤的推荐系统在面对这些无标签、无文字描述信息的视频时并不能取得很好的效果。所以，本文旨在从视频语义角度出发，通过发掘视频所表达的语义，完成基于视频语义的推荐，并通过结合视频多源异构信息，实现基于多源数据的视频推荐。本文的主要工作概况如下： 本文首先明确了视频语义结构的定义（在本文中，主要研究体育类视频）介绍它们在视频检索以及视频推荐中的重要作用。接着，本文提出了两种视频语义提取方法，第一种是基于监督学习的视频语义提取方法，该方法使用3D卷积神经网络（C3D）提取视频帧的静态语义和连续帧序列的动态语义，然后使用连续时序分类（CTC）算法完成对视频语义的整合，将视频语义提取问题转化为了视频语义序列解码的问题，并通过实验证明该方法提升了3D卷积神经网络在视频语义提取上的准确度。第二种是基于非监督学习的视频语义提取方法，该方法同样使用C3D提取视频帧序列的语义，为了解决C3D-CTC对未标注视频语义提取准确度低的问题，本文使用递归自编码器对C3D提取出的帧语义序列进行压缩整合，得到视频的语义特征，并通过实验证明该方法比基于关键帧语义提取的方法在聚类结果上效果更好。 基于以上两种视频语义提取方法，本文提出了一种基于视频语义相似度的推荐算法，以解决传统协同过滤算法无法解决的冷启动问题。接着，本文研究了视频描述信息在解决冷启动上所具有的优点，将视频描述信息与视频语义相结合，提出了一种基于多源数据的视频推荐算法。最后，本文分析了推荐系统的设计与实现方式，并通过实验证明了该方法在推荐准确率上比传统方法有了一定的提升。

目录

第一个书签之前

目 录

第一章 绪 论

1.1 研究工作的背景与意义

1.2.1视频语义提取国内外研究历史与现状

1.2.2视频推荐算法国内外研究历史与现状

1.3 论文主要研究内容

1.4 本论文的结构安排

第二章 视频语义提取与视频推荐算法基础

2.1 视频语义提取

2.1.1 基于关键帧的视频语义提取

2.1.2 基于视频文本信息关键词提取

2.2.1 神经网络

2.2.2 卷积神经网络

2.2.2.1 卷积层

2.2.2.2 池化层

2.2.2.3 全连接层

2.3 推荐系统

2.3.1 基于协同过滤的推荐

2.3.2 基于内容的推荐

2.3.3 基于流行度的推荐

2.3.4 推荐系统评价指标

2.4 自编码器

2.5 本章小结

第三章基于3D卷积神经网络的视频语义提取

3.1.1 体育视频数据结构定义

3.1.2 子动作语义提取

3.1.2.1 3D卷积神经网络模型定义

3.1.2.2 3D卷积神经网络卷积核选取

3.1.2.3 3D卷积神经网络的设计

3.1.3行为语义提取

3.1.3.1连续时序分类CTC

3.1.3.2 基于CTC的行为语义提取模型

3.1.4 模型准确度测试

3.1.4.1测试数据及测试流程设计

3.1.4.2实验环境

3.1.4.3训练参数选择

3.1.4.4 UCF-101数据集上的实验结果

3.1.4.5 vine数据集上的实验结果

3.2 基于非监督学习的视频潜在语义提取

3.2.1 自编码器

3.2.2 递归自编码器

3.2.3 视频潜在语义提取模型

3.2.4 模型准确度测试

3.3 本章总结

第四章 基于多源数据的视频推荐技术研究

4.1 问题描述

4.2 基于视频行为语义相似度的推荐

4.3 基于视频语义相似度的融合推荐

4.4 基于视频描述信息主题相似度的视频推荐

4.4.1文本主题模型

4.4.2基于文本主题相似度的推荐

4.5 基于多源数据的视频推荐

4.6 本章总结

第五章 总结与展望

5.1 全文总结

5.2 后续工作展望

致 谢

参考文献

攻读硕士学位期间取得的成果