分布式数据处理系统中配置及任务管理模块的设计与实现

摘要

互联网行业正在以难以置信的速度发展并成为日常生活中不可或缺的一部分，迅速抢占着传统服务行业的市场。随着业务和技术的飞速发展和用户量的激增而来的就是指数级膨胀的数据量。在互联网行业习以为常的TB甚至PB级别的数据压力下，传统的单节点数据处理方式已难以承担重任。在这样的背景下，分布式的数据处理方式应景而生，并且迅速成为了主流大数据处理的解决方案。
　　本设计实现了一种在分布式的数据处理系统中进行全局统一配置数据的保存和分发，以及管理大任务的模块。全系统中所有的配置信息都由本模块保存，并且由管理员进行维护和管理。本模块同时也是系统中所有任务的发起者和回收者。
　　在系统初始化时本模块将向其它模块分发相应的数据使其能够顺利启动并初始化。同时当配置数据发生更改时，将向关注这些信息的模块分发新数据，这样所有模块的配置数据都是最新的。将所有的配置信息进行集中式统一管理可以保证相同内容异地存放的数据都来自同一个来源，这样能够有效地避免由于配置数据的不一致而导致系统启动或运行异常。
　　系统中的所有任务都由本模块生成和触发。对于数据的离线分析、结构化、重组、备份等任务，管理员可通过本模块进行相应任务执行计划的制定，本模块将按照执行计划通过定时器或者监控系统运行情况来触发相应的任务；对于实时的数据查询、重组等任务，管理员可直接通过本模块设置相关参数后直接触发任务。每个任务执行结束后将生成一条相关的日志，来记录此次任务的执行情况，之后释放该任务申请的资源，对于查询任务，还将缓存查询结果以避免重复查询给系统造成的不必要的压力。为防止由于极端情况导致的任务丢失所带来的数据不完整，我们会定期对任务日志进行完整性扫描，并触发丢失的任务，来保证系统数据的完整性。
　　为了防止意外情况导致的宕机，我们采用双机冷备的方式将任务执行的情况备份至远端数据库，以防止任务重复执行或者申请的资源得不到释放。

目录

封面

声明

中文摘要

英文摘要

主要符号表

目录

第一章 引言

1.1研究背景

1.2海量数据处理的研究现状

1.3本文的工作

第二章 需求分析

第三章 系统概要设计

3.1系统功能介绍

3.2系统架构

3.3网元的属性

3.4网元的数据定义方式

3.5任务的划分

3.6存储模型

3.7数据定位策略

3.8双机容灾策略

3.9本章小结

第四章 模块详细设计

4.1通信协议

4.2 CS内部模块构成

4.3 Task与Agent的关系

4.4集中式配置管理的设计

4.5任务触发和管理模式的设计

4.6关键数据表设计

4.7本章小结

第五章 系统实现

5.1内部框架实现

5.2核心模块实现

5.3本章小结

第六章 测试

6.1 测试环境

6.2功能测试

6.3压力测试

6.4本章小结

总结

致谢

参考文献