CrossTree—高可靠、高可扩展的HTC系统结构研究

摘要

在研究与工程领域中，有许多问题通常需要经过几个星期甚至几个月的计算才能得出结论，为进行这样的工作需要一个能在长时期内提供大量计算能力的环境，这就是所谓的HTC (High Throughput Computing)计算环境。HTC环境更关心的是在一个相当长的时间段内可以完成多少任务，而不是一个单独的任务能被多快的完成。构建HTC计算环境的一种解决方案是将大量的个人PC组织在一起以利用它们的空闲计算资源，Condor便是这样的一个实例。但是由于Condor在节点的组织上采用集中式管理，具有中心节点，因此在可靠性与扩展性等多方面受到了限制。 为了设计出一种高可靠的，具有高可扩展性并且高效的HTC计算环境系统，本文结合当前在P2P领域中广为使用的分布式哈希表(DHT)的概念，提出了一种新的无中心节点的 HTC计算环境系统结构CrossTree，并详细描述了在该结构下的资源管理与定位方式。CrossTree采用树+环的形式来组织节点，不同的资源被分类映射到不同的树型结构中；同时每个节点只需保存并跟踪其他一小部分节点的信息，不需要记录所有节点的状态。CrossTree 结构的错误恢复机制使其具有高度的可靠性，并且路由跳数基本为常数，不随系统规模的迅速增大而剧烈变化，具有很高的效率与可扩展性。 本文首先对已有的HTC环境系统Cotldor以及分布式哈希表的相关概念进行了详细的介绍，然后在此基础上给出了CrossTree结构的详细设计与其在HTC领域的基本应用方式，接下来更进一步的讨论了一些改进与优化的方案，最后从理论分析与仿真实验两方面证明了CrossTree的高效性、高可扩展性与良好的可靠性。

目录

文摘

英文文摘

声明

第一章引言

第一节HTC计算环境与分布式

1.1.1 HTC计算环境及其应用领域

1.1.2 HTC领域的相关工作

1.1.3分布式的设计思想

第二节本论文的工作与结构

第二章CONDOR-集中式的HTC环境

第一节资源表示与信息维护

2.1.1 Condor的系统组织结构

2.1.2 Condor的资源表示方法

2.1.3 Condor的信息维护

第二节任务的提交、分配与运行

2.2.1 Condor中的主要进程

2.2.2任务的运行流程

第三节运行时任务的维护

第四节小结

第三章P2P技术与分布式哈希表

第一节P2P技术简介

3.1.1 P2P的定义

3.1.2覆盖网(Overlay Network)

3.1.3 P2P技术的优势特点

3.1.4 P2P网络的拓扑结构

第二节分布式哈希表

3.2.1什么是DHT

3.2.2评价DHT的性能指标

3.2.3 DHT系统实例

第三节小结

第四章CROSSTREE的设计与应用

第一节总体设计

4.1.1设计目标

4.1.2设计思路

4.1.3节点组织结构示意

第二节具体设计与应用

4.2.1系统结构的组织与维护

4.2.2任务与资源的匹配

4.2.3运行时任务的维护

第五章改进与优化

第一节优化讨论

5.1.1物理网络与覆盖网的结合

5.1.2范围匹配

5.1.3缓存机制

第二节小结

第六章仿真测试与性能分析

第一节理论性能分析

6.1.1路由开销与比较

6.1.2维护开销

6.1.3可靠性分析

第二节仿真实验与结果分析

6.2.1节点加入代价仿真实验

6.2.2任务路由代价仿真实验

第七章进一步的工作与结论

第一节进一步的工作

7.1.1更好的负载平衡

7.1.2安全性方面的问题

7.1.3实现方面的考虑

第二节结论

参考文献

致谢

个人简历、学术论文与研究成果