智能电视视频推荐系统的设计与实现

摘要

近年来随着互联网技术与应用的快速发展，尤其是社会化网络的快速发展，每时每刻都在产生大量的信息，使用户面临信息过载的问题。用户面对互联网上海量的信息很难找到他们自身感兴趣的或者对其有用的信息。随着网络视频产生的多样化，视频网站也面临着信息过载的问题，内容提供商也很难向用户准确的推送优质的内容。推荐系统是解决信息过载问题的有效方法之一，它通过对用户的历史行为和用户的社交信息等进行分析，建立用户兴趣模型，进而预测用户未来的喜好，向用户推荐他可能感兴趣或着有用的内容。
　　传统的视频推荐系统多在专业的电影网站和视频网站中应用，它能帮助用户从互联网中的海量视频库中很容易的找到令他们感兴趣的电影或者视频。随着智能电视的到来和迅速发展，用户在欣赏普通电视节目的同时，可以通过智能电视上的视频软件获取网络中的海量视频。但是在智能电视上对用户推荐网络视频节目的同时，也需要向他们推荐直播电视节目。因此如何打通传统的广播电视网络和互联网媒体数据的关联分析的通道，最终实现传统广播电视网和互联网多媒体数据的个性化推荐成为一个新的研究方向。
　　本文采用由UC Berkeley AMP lab所开源的通用分布式并行计算框架Spark，结合目前非常流行的非关系型数据库(NoSql)MongoDB和分布式存储系统HDFS设计并实现了智能电视视频推荐系统。系统通过对智能电视收集的大量用户的不同观看行为数据进行处理，并对观看行为特征进行分析，建立用户兴趣模型从而向用户推送他们可能感兴趣的视频。
　　推荐系统中最核心的部分就是推荐算法，它在很大程度上决定了推荐系统的优劣。根据智能电视的性质，本文提出了基于时间段的协同过滤推荐算法。根据不同时间段观看电视的人群的不同，将一天划分为几个时间段，并且结合基于Kmeans文本聚类算法和基于物品的推荐算法实现了一种适合智能电视的视频推荐算法。
　　本文详细的描述了智能电视视频推荐系统的总体框架设计，然后详细描述了算法的设计和实现流程。最后对系统的性能和准确度进行了测试。测试结果表明该推荐系统能够正常工作，适应于智能电视终端。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪 论

1.1 研究背景与意义

1.2 国内外研究现状

1.3 主要研究内容

1.4 论文组织

第二章 相关理论与技术基础

2.1 推荐系统和相关算法

2.2 文本聚类

2.3 Spark分布式计算平台

2.4 Mongodb

2.5 Hadoop分布式文件系统（HDFS）

2.6 本章小结

第三章 视频推荐系统的总体设计

3.1 需求分析

3.2 视频推荐系统体系结构

3.3 基于时间段划分算法概述

3.4 推荐引擎架构流程概述

3.5 数据采集

3.6 视频资源分类

3.7 基于物品的初步推荐流程

3.8 最终推荐结果计算

3.9 本章小结

第四章 视频推荐系统的实现

4.1 Spark编程模型

4.2 数据采集

4.3视频资源分类模块的实现

4.4 基于物品的初步推荐流程的实现

4.5 最终推荐结果计算

4.6 本章小结

第五章 系统测试

5.1 测试方案

5.2 视频资源分类测试

5.3 推荐部分测试

5.4 本章小结

第六章 总结与展望

6.1 本文工作总结

6.2 未来工作展望

致谢

参考文献

硕士期间学术成果