虚拟筛选海量并行任务管理系统中数据流的管理

摘要

虚拟筛选是在计算机上针对特定靶标蛋白筛选出最合适的候选药物的过程。随着网格计算技术的发展，科学家越来越倾向于利用网格环境进行药物的大规模虚拟筛选以减少新药研制的成本和时间。大规模虚拟筛选涉及海量数据，待筛选的小分子化合物通常数以百万计。
　　 在网格环境下进行基于分子对接的大规模虚拟筛选应用，通常的做法是科学家手动查询小分子化合物并分组，在网格平台上编辑多个对接作业依次对分组进行计算，手动下载所有对接结果。虽然利用了网格强大的计算能力，但是科学家的工作非常复杂和繁琐，并且需要学习大量计算机领域知识。以CSGrid网格平台为基础设计的海量并行任务管理系统，目的是实现大规模虚拟筛选应用在网格平台上的自动执行，从而将科学家从繁琐的工作中解脱出来。海量并行任务管理系统将虚拟筛选应用分成多个并行作业在网格平台上计算，作业流和数据流的管理非常重要。本文的研究重点，就是如何设计系统中的数据流管理功能，制定合理的数据流配置策略，使海量数据流配合并行作业调度策略，实现网格环境下大规模虚拟筛选应用的高效自动运行，提高网格资源的利用率。
　　 本文设计的数据流管理功能由三个模块实现。第一个模块是查询条件定制接口，该模块为用户提供了一个定制数据查询条件的图形编辑器；第二个模块是数据查询、分组及传输Web Service，该模块从分布式小分子化合物数据库中查询出符合条件的小分子化合物，按可旋转键数排序并分组，再将分组上传至需要数据的网格节点。第三个模块是统一数据管理空间，该模块提供了所有网格节点数据的全局视图，可以实现虚拟筛选结果的并行下载。本文重点从用户体验和实现技术方面对各个模块进行了深入的探讨。

目录

文摘

英文文摘

声明

第一章绪论

1.1研究背景

1.2国内外研究现状

1.3本文的主要工作

1.4本文的组织结构

第二章关键技术研究

2.1 XML及其解析

2.1.1 XML概念

2.1.2 XML的解析

2.2 Web Service

2.2.1 Web Service概念

2.2.2 Web Service核心技术

2.2.3 Web Service优势

2.3 MyEclipse Web项目开发

第三章关键问题研究

3.1查询条件定制接口

3.1.1查询条件定制接口的设计目的

3.1.2数据查询条件的保存格式

3.1.3查询条件定制接口的设计思路

3.2数据查询、分组以及传输

3.2.1数据分组的原因及依据

3.2.2数据查询、分组及传输的设计思路

3.3统一数据管理空间

3.3.1统一数据管理空间的设计目的

3.3.2统一数据管理空间的设计思路

第四章数据流管理各功能模块的实现

4.1虚拟筛选海量并行任务管理系统概述

4.1.1系统整体描述

4.1.2系统中的数据流管理

4.2查询条件定制接口的实现

4.2.1数据查询文件default.pml的生成

4.2.2 PML图形编辑器的实现

4.2.3 SQL语句的生成

4.3数据查询、分组与传输功能模块的实现

4.3.1数据查询、分组与传输Web Service服务器端的设计

4.3.2数据查询、分组和传输Web Service客户端的设计

4.3.3统一数据管理空间的设计

第五章结论与展望

5.1本文工作总结

5.2未来工作展望

参考文献

在学期间的研究成果

致谢