基于Hpadoop的广电CDN数据中心系统的设计与实现

摘要

CDN（Content Delivery Network，即内容分发网络）是通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络。它能够实时地根据网络性能指标综合运算的结果，将用户的请求重新导向离用户最近的服务节点上，以便使用户可就近取得所需内容，解决Internet网络拥挤状况，提高用户访问网站的响应速度。这些性能指标包括:网络流量、各节点的连接、负载状况、各节点到用户的距离，以及响应时间等等。
　　广电行业自身的CDN定义最早来自北美，从ISA架构到NGOD架构，乃至总局定义的NGB架构，CDN只是内容分发组件，如果与互联网或IPTV的CDN对应，则应该包括CDN+VSS+SRM。
　　广电的CDN网络的架构一般包括:数据中心、推流服务器和CDN网络。
　　数据中心的作用包括:多媒体数据的存储、影片的切片和存储、多媒体内容的管理、内容的分发、用户行为的分析、数据报表服务。
　　本文在现有广电CDN网络数据中心基础之上，经过分析广电行业的实际的业务需求、业务流程，以及目前系统存在的问题和弊端，然后结合信息安全的思想，设计并实现了一个满足广电行业特殊业务需求和需要的CDN网络数据中心系统。
　　首先，本文介绍了广电行业CDN数据中心系统项目的背景，以及目前存在的主要问题;然后分析并逐条论述了该系统的功能性需求和非功能性需求。
　　基于需求分析，我们提出了系统的设计目标和设计原则，并基于此进行了技术架构设计和功能架构设计。在技术架构上，系统主要考虑了效率、可扩展性、可移植性、可维护性以及功能性问题，因此采用当前最流行的Hadoop大数据处理技术，并基于该大数据处理架构，进行了设计分析。在功能架构设计中，本文讨论了系统各部分的功能要求、功能组成，最后按照物理架构和逻辑架构输出了整体设计。
　　再一步进行CDN数据中心系统的详细设计。该部分按照层次化和模块化的软件设计思路来设计系统，详细介绍了数据处理层、数据存储中心、应用层、数据库设计共4个方面。在每一层中，对其包含的每个模块配合流程图、顺序图、文字描述等方式进行了详细设计。
　　第四部分，是实现与测试部分。我们基于详细设计，首先对各层、各个模块的实现进行了简单介绍，给出了系统的功能结构图、整体效果图和各个部分的实现图。在对每个模块实现的描述中，也对真实生产系统已经实现的功能进行了描述并附图。尤其是对系统中用到的关键技术（HDFS，HIVE，MapReduce）进行介绍和分析。最后，按照真实的环境和设计要求，进行了性能测试，对测试结果和结论给出了详细的分析和描述。
　　最后，本文对CDN网络的数据中心系统的应用情况作了简单介绍，并对系统进一步改进提出了建议。
　　综上所述，我们在分析了广电CDN网络业务需求和大数据存储和处理系统思想的基础上，设计并实现了针对广电行业CDN网络的数据中心系统，达到了预期目的。

目录

声明

摘要

符号说明

第1章 绪论

1．1 广电行业CDN数据中心系统开发背景

1．2 国内外研究现状

1．3 解决的主要问题

1．4 本文的主要工作

1．5 论文的组织结构

第2章 广电行业CDN数据中心系统需求分析

2．1 广电行业CDN数据中心系统概述

2．1．1 广电行业CDN数据中心系统项目背景

2．1．2 广电行业CDN数据中心系统项目说明

2．1．3 广电行业CDN数据中心整体系统概述

2．2 广电行业CDN数据中心系统目标和解决的问题

2．3 广电行业CDN数据中心系统需求问题描述

2．3．1 广电行业CDN数据中心系统功能性需求

2．3．2 广电行业CDN数据中心系统非功能性需求

第3章 广电行业CDN数据中心系统架构设计

3．1 广电行业CDN数据中心系统设计目标和原则

3．2 广电行业CDN数据中心系统技术架构设计

3．2．1 广电行业CDN数据中心系统物理架构

3．2．2 广电行业CDN数据中心系统逻辑架构

第4章 广电行业CDN数据中心系统详细设计

4．1 广电行业CDN数据中心模块设计

4．1．1 数据处理层

4．1．2 数据存储中心

4．1．3 应用层

4．1．4 数据库设计

第5章 广电行业CDN数据中心系统实现与测试

5．1 广电行业CDN数据中心系统总体实现

5．2 Hadoop在广电CDN系统中的应用

5．2．1 HDFS在数据中心系统中的应用

5．2．2 HIVE在数据中心处理系统中的应用

5．2．3 MapReduce在数据中心系统中的应用

5．3 系统测试

第6章 结论

参考文献

致谢