分布式虚拟化计算平台高可靠任务拆分系统的设计与实现

摘要

随着互联网技术的高速发展和移动通信业务的兴起，用户的数据量呈爆炸式的增长，尤其是在电信行业。新颖的电信增值业务不断推出，电信客户群不断增多等都直接导致了电信业务量的迅速增长。此外，由于用户对电信业务的服务在实时性、安全性和稳定性方面有着极高的要求，所以就如何及时的处理海量数据集这一问题已成为了当前的研究热点。
　　国际上提出的“云计算”概念就是用以解决对海量数据集的处理问题的。目前在这方面有着较成熟应用的主要有Google的云计算应用平台、Amazon的弹性计算云、IBM的蓝云计算平台，但是这些技术还没有应用于电信行业。本文主要研究分布式计算在电信项目中的应用。首先结合当前国内外的研究现状和发展态势，分析现有云计算的架构，再根据自身项目的具体需求，设计出分布式虚拟化计算平台（Distributed Virtual Computing Platform，DVCP）中的高可靠任务拆分系统。
　　本文的主要工作有以下几点：
　　第一，从整体上介绍DVCP项目。该项目对大规模数据集进行实时的采集、统计和分析。使系统在满足新兴的业务服务的同时还能继续提供传统业务服务。
　　第二，任务拆分模块的设计与实现。本模块的设计基于Epoll和线程池的服务框架。采用Epoll异步事件驱动机制处理网络IO请求，采用线程池模型处理磁盘IO的异步操作，提高IO效率。任务拆分采用MapReduce并行计算架构，可以解决大数据集的分布式计算问题，采用这种方法对电信数据进行处理能够大大提高对数据统计分析的能力。
　　第三，系统容错模块的设计与实现。为了保证系统的高可用性，本系统采用双机热备的容错机制，其实现模式为没有共享存储设备的纯软件方式，即将数据（包括状态值和业务数据中间结果）实时地从主设备中备份到从设备中，并保存在从设备的内存中。当主设备出现故障时，可进行快速切换。
　　本系统通过负载压力发生器的测试，结果表明系统的功能能够正常运行，并且在保证实时性的前提下可以满足大规模用户同时访问的需求。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 引言

1.1 研究动机

1.2 研究内容

1.3 论文组织

第二章 基础理论与相关技术

2.1 云计算相关技术

2.2 Map/Reduce分布式计算框架

2.3 系统容错技术

2.4 本章小结

第三章 系统总体设计

3.1 系统背景

3.2 系统需求分析

3.3 系统设计方案分析

3.4 系统总体框架

3.5 系统基本功能

3.6 本章小结

第四章 任务拆分系统的设计

4.1 通信模块的设计

4.2 任务拆分模块的设计

4.3 系统容错模块的设计

4.4 本章小结

第五章 任务拆分系统的实现

5.1 系统视图

5.2 通信模块的实现

5.3 任务拆分模块的实现

5.4 系统容错模块的实现

5.5 本章小结

第六章 系统测试与分析

6.1 测试环境搭建

6.2 系统功能测试

6.3 负载压力测试

6.4 本章小结

第七章 结论与展望

致谢

参考文献