全Flash视频网站用户行为数据的采集及其预处理

摘要

伴随网络宽带的普及、Web2.0技术的发展，网络视频行业成为近年来全球新兴的一种传媒行业。国内的主流传媒、商业网站、技术公司和个人创业者纷纷进入这个行业，建立起大量不同类型的视频网站。越来越多的网民选择通过互联网观看视频节目，也有不少网民一直向网站上传自己制作的视频。视频网站对现代人的生活影响日益增加。
　　 本文以东华大学研究生多媒体体验中心为应用平台，就全Flash视频网站日志数据的采集及其预处理技术的若干关键问题展开了具体的研究工作。文中提出将客户端用户操作信息用定义好的标识符表示，并拼接到HTTP请求的URL字串中，同时利用Flex中的HTTPService对象向服务器发送请求而将前台用户操作信息记录到网站访问日志的方法，较好的解决了Flash不能实时和服务器交互的问题，同时利用向外部服务页面请求会话标识的方法巧妙解决了Flash不能保存会话信息的问题。
　　 在拼接HTTP请求中URL字串的同时，本文定义了一套可以准确、高效标识用户操作信息的标识符，这些标识符在相应的操作下随着请求同时被传递给服务器，被记录在服务器的访问日志中，极其的方便了之后数据的导入和预处理，也提高了数据清洗、解析的准确性。
　　 在采集到用户操作信息之后，本文设计并实现了一套能够快速解析日志并将数据导入数据库的应用系统，同时通过SQL存储过程对导入的基本表进行预处理，高效、准确地进行了会话识别等操作，为后期的数据分析与数据挖掘创造了有利条件。
　　 最后，本文展示了通过本采集和预处理系统应用到东华大学研究生多媒体体验中心报表系统后得到的数据分析效果。经实际应用表明，本文提出的数据采集和预处理系统能够快速、高效、准确的获得用户操作信息，是全Flash视频网站用户行为分析的有用工具。

目录

文摘

英文文摘

1 绪论

1.1 研究背景

1.2 研究意义与目的

1.3 课题研究内容

1.4 本文的组织结构

2 相关技术的研究

2.1 Flash技术和全Flash视频网站介绍

2.2 Web日志挖掘

2.3 本文研究的视频网站简介

2.4 本章小结

3 全Flash视频网站用户行为数据的采集

3.1 已有用户行为数据的采集方法

3.2 Web服务器日志文件介绍

3.3 日志采集系统的设计

3.4 日志采集系统的实现

3.5 实验及结果分析

3.6 本章小结

4 全Flash视频网站日志数据的预处理

4.1 日志数据预处理概述

4.2 数据预处理系统的设计

4.3 数据预处理系统的实验

4.4 基于数据预处理表的数据分析成果

4.5 本章小结

5 总结与展望

5.1 总结

5.2 展望

参考文献

攻读学位期间的研究成果目录

致谢