基于用户行为的内容加速系统的设计与实现

摘要

互联网的高速发展以及用户对高清网络内容需求增加，使得向用户提供高清视频内容成为一种应用趋势。目前网络接入带宽或服务器的服务能力都可能成为瓶颈，导致视频流缓冲时间过长、播放时断时续、用户体验极差。
　　本文利用用户上网浏览的网页文本以及用户对电影的评分，来实现基于用户行为的内容加速系统。系统结合了基于用户的协同过滤推荐方法和基于内容的推荐方法为用户预测视频，然后将预测视频进行下载、管理，当用户观看该视频时可以直接从本地观看，避免了视频缓冲等待。本文首先对系统的总体结构进行设计，将系统总体分为两部分：即基于用户行为的推荐子系统和内容加速子系统。然后对基于用户行为的推荐子系统和内容加速子系统进行设计和实现。基于用户行为的推荐子系统重点对混合推荐方法以及计算用户相似度方法进行研究。内容加速子系统主要是对文件管理、文件下载、文件映射、重定向进行研究。最后，通过大量的实验对系统的功能指标进行了测试，并对测试结果进行分析。论文工作的重点主要包含以下几个方面：
　　(1)计算用户之间相似度时在传统方法上加入了用户评分稀疏因子，能够有效缓解由于用户评分稀疏现象导致计算用户相似度不够精确问题。
　　(2)利用混合推荐即结合基于用户的协同过滤和基于内容的推荐方法来给用户预测视频，提高了预测准确率。
　　(3)内容预取加速，推荐子系统计算出推荐视频列表之后，将这些用户将来可能消费的电影传给内容加速子系统，内容加速子系统通过预取算法从网络中提取电影内容存储于本地存储区域，用户通过代理服务器上网，当用户观看的电影在本地时，将本地存储的电影呈现给用户，从而实现加速。
　　最后，爬虫收集大量豆瓣上用户的日记文本、用户电影评分以及电影简介信息来模拟用户行为数据。并以这些数据做实验，制作不同参数的测试用例，通过大量的实验，计算结果的准确率、召回率、F1值。对所实现的系统进行了详细的分析评估。以传统的基于用户协同过滤方法（user-based CF）作为基准，测试结果表明本文使用的推荐方法比普通的基于用户协同过滤方法在准确率、召回率、F1值方面均有所提高。测试结果显示内容加速子系统运行流畅，即整个基于用户行为的内容加速系统运行流畅，具有较好的用户体验。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 研究背景与意义

1.2 国内外研究现状

1.3 本文的主要研究内容

1.4 本论文的结构安排

第二章 相关理论及技术

2.1 平台相关技术

2.2 推荐系统相关概念

2.3 网络爬虫技术

2.4 文本处理相关技术

2.5 本章小结

第三章 基于用户行为的内容加速系统的总体设计

3.1 基于用户行为的内容加速系统的概述

3.2 基于用户行为的内容加速系统的总体架构

3.3 基于用户行为的内容加速系统解决的关键问题

3.4 本章小结

第四章 推荐子系统的设计与实现

4.1 推荐子系统的体系结构设计

4.2 用户行为数据获取子系统的设计与实现

4.3 数据预处理的设计与实现

4.4 电影模型建模实现

4.5 推荐子系统的实现

4.6 本章小结

第五章 内容加速子系统的设计与实现

5.1 内容加速子系统实现平台

5.2 对squid软件的研究与分析

5.3 内容加速子系统运行框架

5.4 内容加速子系统的设计框架

5.5 内容加速子系统配置文件

5.6 本章小结

第六章 系统测试与结果分析

6.1 推荐功能测试

6.2 内容加速子系统测试

6.3 本章小结

第七章 总结与展望

7.1 工作总结

7.2 工作展望

致谢

参考文献

硕士期间取得的研究成果