网格计算中的虚拟中间件前件研究

摘要

开发特定的工具，使最终用户能够完全利用网格基础架构而不依赖于专门的支持团队，是实现网格最初提出的让所有人都能自由使用各种计算力资源这一愿景的重要途径。随着工业的发展，需要解决的科学和工程问题规模越来越大、越来越复杂，其发展速度远远超过硬件发展所遵循的摩尔定律。 由于网格应用需要大量的具有相关知识的专业人员，大多数科学家和工程技术人员在解决计算密集型问题时，并未采用网格计算的方式。因此，仍然需要开发相应的工具，以帮助最终用户能够在不依靠专业支持团队的情况下直接运行应用程序。一旦网格计算技术变得更加易于使用，大量的应用和用户都将从中受益。 本论文提出了一种介于网格中间件和最终用户之间的虚拟化网格中间件框架-Users-Grid。它为网格应用程序提供了一个高级抽象层，隐藏了网格中间件的细节，将用户和开发人员同复杂的中间件(Globus)基础架构隔离开来。Users-Grid框架的核心——个人提交代理能自动完成任务提交的一系列步骤。为了能够协调使用地区分布资源，大量的研究团队开发出了各种各样的中间件、库以及工具来实现这一功能。一个现有的应用程序提供了特定的接口供用户调用，用户不能对其进行修改，而重写现有应用程序的代价过高，通常不能为用户所接受。在这种情况下，中间件方法可能是解决此问题的唯一途径。Users-Grid中的中间件前件正是这一思想的集中体现。 Matlab将快速原型数值计算和高级编程集成到一起。交互式桌面科学与工程工具，如Matlab、Mathematica、IDL、Maple和Python等，不能直接运行于网格之上，人们需要花费大量的时间和精力对其进行移植。为适应网格计算平台而人工重新编写现有的桌面工具，仍然是最终用户决定是否采用网格技术的一种障碍。Users-Grid通过使用高级语言，使得这种移植工作量达到最小化，从而消除这种障碍。多数大的组织机构希望其信息技术基础架构能够逐步进行演化，而不会发生重大的变革。因此，需要对异构环境进行支持，使得新的应用程序能与现有的专有软件进行交互。Users-Grid能很好地支持用户的这种需求。到目前为止，还没有软件包或工具能够支持Madab运行于网格环境。本论文对Users-Grid系统原型进行了实现，并对实验结果进行了研究与分析。实验结果表明，基于Users-Grid的应用比串行Matlab应用效果提升明显。通过与其它系统进行比较，只有Matlab<'*>G的效果与Users-Grid接近。

目录

文摘

英文文摘

论文说明：List of Figures

声明

Chapter 1: Introduction

1.1. Problem Statement

1.2. Goals and Contributions

1.3. Thesis Outline

Chapter 2: Grid Computing Concepts and Relevant Work

2.1 Grid Computing

2.1.1. Grid Characterization

2.1.2. Grid Origins

2.1.3. Current Sate of the Grid

2.1.4. Grid Portals

2.2. Grid Computing Projects

2.2.1. Netsolve: A Network Enabled Computational Kernel

2.2.2. Ninf: A Network Enabled Server

2.2.3. Nimrod-G: Grid Resource Broker

2.2.4. Grid Tools

2.2.5. Condor

2.2.6. EasyGrid

2.2.7. ISAM

2.3. Classification of Grid Applications

2.4. Summary

Chapter 3: Middleware

3.1. History of Middleware

3.2. Motivation for Pro-middleware

3.3. Functions of Middleware

3.4. Designing Middleware

3.5. Programming with Middleware

3.6. Middleware and Layering

3.7. Middleware and Resource Management

3.8. Middleware Services

3.9. Grid Middleware

3.9.1. Globus

3.9.2. Globus GRAM

3.10. Summary

Chapter 4: Users-Grid: A Virtualization Pro-middleware

4.1. Concepts of Virtualization

4.2. Users-Grid Architecture

4.3. Automatic Job Submission

4.3.1. Users-Grid Monitor

4.3.2. Users-Grid Worker

4.3.3 Personal Automatic Job Submission Agent (PAJA)

4.4. Summary

Chapter 5: Users-Grid MATLAB(R) Plug-in

5.1. The Need

5.2. Users-Grid Support for Matlab

5.2.1. Modes of Running

5.3. Summary

Chapter 6: Prototype Development and Experimental Results

6.1. Prototype Development

6.1.1: Installation of Users-Grid

6.2. Experiments and Comparison of Results

6.2.1. Experiment # 1

6.2.2. Experiment # 2: Comparison with Condor

6.2.3. Experiment # 3: Buffon-Laplace Needle Problem

6.2.4. Experiment # 4: Image processing applications

6.2.5. Experiment # 5: Comparison of Users-Grid with Distributed Matlab Systems

6.3. Summary

Chapter 7: Future Extensions

7.1. Job monitoring tool

7.2. Extension of RSL

7.3. Development of AMRTS

7.3.1. Helper Agents:

7.3.2. Worker Agent:

7.3.3. Salesman Agent:

7.4. Future Topics

7.5. Chapter Conclusion

Chapter 8: Conclusions

8.1. Contributions and Selected Highlights

8.2. Future Endeavors

8.3. Validation of Users-Grid Capabilities

8.4 The Ambition

Bibliography

Acknowledgments

List of Publications