声明
1 绪 论
1.1.1 流处理简介
1.1.2 批流处理系统简介
1.1.3 连续流处理系统简介
1.1.4 任务调度和数据调度简介
1.2 国内外研究现状
1.2.1 批流系统慢结点迁移机制的研究现状
1.2.2 批流系统任务调度机制研究现状
1.2.3 连续流系统数据调度机制研究现状
1.2.4 现有研究的不足
1.3 研究内容
1.4 论文组织结构
2 批流系统慢结点预调度机制
2.1 批流系统作业的特征
2.2 传统慢结点迁移机制面临的问题分析
2.3 批流系统慢结点预调度机制设计
2.3.2 潜在慢结点任务识别
2.3.3 结点计算能力评估
2.3.4 能力感知的数据重分配
2.4 原型系统实现
2.5 性能评测与分析
2.5.1 实验装置和负载
2.5.2 作业完成时间
2.5.3 阶段内最大完工时间
2.5.4 CPU利用率
2.5.5 对突发负载的适应性
2.5.6 数据的局部性分析
2.5.7 各模块的性能
2.5.8 敏感性分析
2.6 讨论及未来的工作
2.7 本章小结
3 批流系统结点能力感知的任务调度机制
3.1 异构性实验分析
3.2 传统任务调度机制的局限性
3.3 基于结点能力感知的任务调度机制设计
3.3.1 系统概览
3.3.2 能力和负载感知
3.3.3 预窃取机制
3.3.4 大任务优先调度
3.3.5 匹配填充机制
3.3.6 算法描述
3.4 原型系统实现
3.5 性能评估与分析
3.5.1 实验装置和负载
3.5.3 真实应用测试结果
3.6 本章小结
4 连续流系统基于网络感知的数据调度机制
4.1.1 传统数据调度机制归类
4.2 通信性能差异实验分析
4.2.1 拓扑性能测试
4.2.2 网络通道性能测试
4.3 网络感知的数据调度机制设计
4.3.1 系统概览
4.3.2 网络和负载感知
4.3.3 权重分组
4.3.4 动态权重控制
4.4 原型系统实现
4.5 实验结果与分析
4.5.1 实验装置和负载
4.5.2 延迟
4.5.3 吞吐量
4.5.4 动态权重控制测试
4.6 本章小结
5 总结与展望
致 谢
参考文献
附录1 缩略词简表
附录2 攻读博士学位期间发表论文
附录3 攻读博士学位期间参与的主要科研项目
附录4 个人简历
