数据流处理系统中查询任务管理的研究与实现

摘要

近年来，随着计算机通信和网络技术的迅速发展，在交通管理、网络监控与安全、股票行情分析、电信数据管理、传感器网络查询等诸多领域产生了许多基于数据流的应用。因为这些应用处理的都是大规模的数据，所以需要把多个不同的处理节点连接起来构成分布式处理环境，并把对数据进行处理的查询任务均衡的分配到各处理节点上，实现系统的负载平衡。由于数据流数据的随机性和不可预知性，使得传统分布式的负载管理技术已经达不到要求，因此如何对查询任务进行管理，使整个数据流处理系统的负载达到平衡则成为了当前研究的一个热点。
　　本文主要解决的问题是如何对分布式数据流处理系统中查询任务进行管理使整个系统中处理节点的负载平衡。分别从静态初始化和动态运行这两个方面来进行研究，主要工作和研究成果如下：
　　1.为了解决系统中查询任务的静态负载分配问题，通过研究现有算法，提出了一种基于最优2-交换的静态负载平衡算法，此算法不但考虑了各处理节点之间处理能力的差异性，而且还改进了启发式算法的缺点，将系统中查询任务均匀地分配到各处理节点，使任务的分配更加合理。
　　2.为了解决数据流处理系统中在运行的过程中出现的多个处理节点间负载不平衡的现象，通过研究现有算法，提出了一种基于时延和负载的动态负载平衡策略，此策略考虑处理节点的负载和处理节点间的数据流量，并且采用双阈值把处理节点分为高、低、正常三种状态，只对处于高负载状态的处理节点和低负载状态的处理节点之间做查询任务迁移操作，减少了用户需求的处理时延，提高了系统的稳定性。
　　3.采用本文提出静态负载平衡算法和动态负载平衡策略，设计并实现了分布式数据流处理系统中查询任务管理的解决方案。静态负载平衡算法完成系统中全部的查询任务的初始化的部署，动态负载平衡策略则实现在系统运行过程中查询任务在各处理节点之间的有效迁移。通过对系统中各处理节点的负载进行测试和分析，静态负载平衡算法和动态负载平衡策略达到了预期的效果，具有比较高的实用价值。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1研究背景及意义

1.2研究现状

1.3本文的主要研究内容

1.4本文的组织结构

第二章 基本概念与相关知识

2.1数据流

2.2数据流的应用

2.3数据流处理系统面临的挑战

2.4分布式负载管理技术

2.5小结

第三章 基于最优2-交换的静态负载平衡算法

3.1引言

3.2相关知识定义与分析

3.3基于最优2-交换的静态负载平衡算法

3.4实验及分析

3.5小结

第四章 基于时延和负载的动态负载平衡策略

4.1引言

4.2问题分析

4.3元操作负载平衡策略

4.4实验及分析

4.5小结

第五章 数据流处理系统中查询任务管理方案的实现

5.1系统简介

5.2查询任务管理的实现

5.3小结

第六章 总结与展望

6.1本文总结

6.2下一步研究方向

致谢

参考文献

攻硕期间的研究成果