分布式流计算平台计算节点的系统设计与实现

摘要

现今,随着互联网和物联网的不断发展,接入互联网的人群基数不断增大,接入物联网的设备剧增.在网络中,时时刻刻都有海量的数据流在动态的流动,而这些信息流中隐藏着很多对国防、科技、商业有用的信息,而很多高价值的信息,都具有很强的时效性,需要实时分析提取.处理这些海量的实时数据,需要高性能的分布式流式计算系统,通过输入数据流可以实时的从系统中获得分析结果.而分布式流式计算系统的计算节点的性能好坏将会直接影响消息处理的时延,因此低数据处理延时、高系统吞吐量则是分布式流式计算系统的核心指标.在此条件下,如何设计一个低延时、高吞吐并且具有良好的功能扩展性的计算节点框架,成为分布式流式计算系统的难点所在.本文主要完成以下方面创新和工作: 1.以目前实验室自主研发的分布式流式计算平台的计算节点日常使用中,其计算节点高数据吞吐量和低消息处理延时不能同时满足的问题为背景.本文通过分析实时流式计算场景下,流式数据的特征、计算节点的消息收发方式和消息处理方式,提出了一个适合流式计算场景的计算节点框架.此框架优化了计算节点收发数据的方式和改进了数据的处理方式,从而升系统吞吐能力并降低了消息处理延时; 2.数据流中的数据含有时空相关性的特征,本文设计并实现一个M∶N的轻量级用户态线程库,用户通过开启大量轻量级线程进行流数据的并行计算,以充分利用数据时空的相关性加速数据挖掘任务.轻量级用户态线程调度采用work strealing调度算法,在用户态上下文进行快速的切换轻量级线程,从而使得多核CPU不同核之间可以达到任务负载均衡,提高计算节点计算资源利用率并降低了计算节点内存使用量; 3.针对流计算平台,应用场景的多样性.本文设计了计算节点以插件化形式支持多种流式计算场景,并定义平台支持的插件接口.用户只需实现插件接口就能方便使用平台,从而实现流计算平台功能的扩展性; 4.最后本文对设计实现的计算节点进行功能和性能测试,并对测试结果做了详细分析.测试结果显示在流式计算场景下,本文设计实现的计算节点框架能够满足高数据吞吐量、低消息处理延时的流式计算需求.

目录

声明

第一章 绪 论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 本文的主要贡献与创新

1.4 本论文的结构安排

第二章 相关理论以及研究背景

2.1 分布式计算

2.1.1 批处理计算

2.1.2 流式计算

2.2 流式计算关键技术

2.2.1 系统架构

2.2.2 计算节点间数据传输策略

2.2.3 Linux操作系统下动态库加载

2.3 通用网络通信框架模型

2.3.1 多进程网络程序模型

2.3.2 多线程网络程序模型

2.3.3 事件驱动Reactor模型

2.3.4 操作系统的线程模型

2.4 流计算平台背景介绍

2.4.1 平台作业任务调度执行图

2.4.2 平台作业任务物理执行图

2.4.3 平台计算节点存在问题

2.5 本章小结

第三章 需求分析及总体设计

3.1 系统设计目标

3.2 分布式流式计算平台计算节点问题分析

3.3 计算节点关键技术

3.3.1 用户态M∶N线程库

3.3.2 使用M∶N线程库优化网络传输

3.3.3 使用M∶N线程库进行并行计算

3.4 计算节点系统框架

3.5.1 Tracker模块职责

3.5.2 Tracker模块设计

3.6.1 Worker模块职责

3.6.2 Worker模块设计

3.7 计算节点数据发送策略

3.8 计算节点容错策略

3.8.1 Worker间消息处理ACK机制

3.8.2 Worker异常导致重调度流程

3.9 计算节点插件接口定义

3.9.1 元组接口

3.9.2 任务接口

3.9.3 消息源接口

3.9.4 消息处理器接口

3.10 本章小结

第四章 计算节点的系统设计与实现

4.1 Master、Tracker、Worker间的主要交互流程

4.2 Tracker、Worker、Master间消息交互格式定义

4.3 Tracker、Worekr、Master间消息定义

4.4.1 线程池

4.4.2 定时器

4.4.3 网络通讯模块

4.5.1 Tracker系统资源收集模块

4.5.2 Tracker模块对Worker的管理

4.5.3 Tracker模块任务调度

4.5.4 Tracker模块心跳管理

4.6 M∶N线程库设计与实现

4.6.1 用户态线程库的管理

4.6.2 用户态线程库的实现

4.6.3 利用M∶N用户态线程库接收消息

4.6.4 多线程向同一套接字发送消息

4.7.1 Worker模块初始化流程

4.7.2 Worker与Tracker间交互模块

4.7.3 Worker与Worker间数据传输

4.8 本章小结

第五章 测试与分析

5.1.1 硬件环境

5.1.2 测试部署以及测试工具

5.2 M∶N线程库uthreadLib测试

5.3 基于M∶N线程库优化的网络传输测试与分析

5.4 流计算平台功能测试及结果分析

5.4.1 编写任务详情描述文件

5.4.2 功能测试插件编写

5.4.3 结果展示及分析

5.5 Worker性能测试及结果分析

5.6 本章小结

第六章 总结与展望

致谢

参考文献