基于Hadoop的海量视频日志分析系统设计

摘要

2011年，随着国内互联网带宽的提升和视频用户普及率的大幅增加，视频行业获得了大量投资者的介入，迎来了一个爆炸式的增长。2012年是视频行业发展的一个转折点，如何能够在激烈的竞争中扭亏为盈是每家视频企业的核心指标。在这个基础上，企业对于自身核心数据的挖掘分析的需求也日益严苛。
　　本文通过对一家大型视频企业数据平台架构的分析，发现现有平台存在的一些问题以及系统瓶颈。为了解决发现的这些问题，从两个方面出发，一方面对国内知名的三家企业的数据平台架构进行了研究，分析了这三家企业的架构的特点及创新部分，另外一方面从不同工作人员的角度获取他们对于数据平台的需求，本文设计了一套基于hadoop开源软件的日志分析系统，该系统具有高可用架构，并且具备日志清洗，流式日志收集和分析等功能模块。本文详细的描述了这一系统中不同模块所使用的开源解决方案及其配置，并且对部分模块中的技术难点提出了解决方案。最终，对于这套设计方案的整体设计理念进行了总结，并且指出了其中的一些不足，并对系统未来改进的方向进行了一些展望。

目录

摘要

第一章 绪论

1．1 论文选题背景

1．2 本文的主要内容

1．3 本文的章节安排

第二章 系统现状和相关技术分析

2．1 企业现有的数据分析平台架构和问题

2．2 主流的数据平台架构和技术分析比较

第三章 视频日志分析平台的需求分析和新架构设计

3．1 视频日志分析平台的需求分析

3．1．1 数据分析业务人员的需求

3．1．2 数据平台维护人员的需求

3．1．3 数据平台开发人员的需求

3．1．4 日志分析平台的架构需求

3．2 数据分析系统新架构设计

3．2．1 各个模块功能描述

3．2．2 日志分析系统解决的核心问题

第四章 系统详细设计和各模块设计

4．1 存储模块设计

4．1．1 Hadoop集群的设计

4．1．2 Mysql的高可用设计和参数优化

4．2 抽取模块设计

4．2．1 Flume实时抽取日志

4．2．2 Sqoop抽取数据库数据

4．2．3 ftp主动下载

4．2．4 rsyncserver被动接收

4．3 计算模块设计

4．3．1 rabbitmq消息中间件

4．3．2 ElasticSearch日志搜索服务

4．3．3 Storm集群

4．3．4 Flume输出hdfs

4．3．5 Hive数据装载

4．3．6 数据清洗机制设计

4．4 对外用户接口设计

4．4．1 hive查询界面和hive-server接口

4．4．2 hive报表系统

4．5 监控报警机制的设计与实现

4．6 调度系统设计与实现

第五章 系统验证

5．1 系统可靠性

5．2 系统实时性

5．3 海量日志计算

第六章 结论

6．1 海量日志分析系统已经达到的目标

6．2 不足与展望

参考文献

致谢

声明