数据网格中副本模型和数据迁移机制的研究

摘要

数据网格通过使用网格技术将网络上分散、异构、局部自治的资源整合起来，通过有序管理和协同计算，消除信息孤岛，发挥综合效能，实现资源的广泛共享、有效聚合、充分释放，提供高效的计算服务、数据服务和信息服务等。在数据网格中，一个合适的副本机制对数据网格效率和可靠性有着重要的影响，同时在数据网格中，使数据及其副本随着域内作业在计算资源上分布和域间用户对热点数据的访问频度而动态迁移以保证数据的访问能力，也有着重要的意义。
　　 在中国教育科研网格公共支撑平台（CGSP）中，数据服务是其核心服务之一，其目的是为中国教育科研网格的用户及各种应用提供一个可扩展的、高性能的分布式数据管理系统，管理网格中各种异构的存储资源，为用户及中国教育科研网格公共支撑平台的其他功能模块提供数据支持。
　　 衡量类似数据网格系统好坏的三个重要指标是其可靠性、可用性和服务性能。通过引入副本机制，在后台中保留每份原始数据的备份，当原始数据或者其中某个副本数据所在存储资源发生损坏时，可以通过访问其他数据源获取数据服务，提高了系统的可靠性，同时系统可以从其余的副本数据中恢复丢失的数据，保证了系统的可用性。在网格中，存在着大量的计算资源和数据资源，当网格用户提交一个任务时，其任务的执行过程是计算节点和存储节点共同合作的结果，根据当前网格的拓扑结构、计算资源和存储资源的负载、用户提交的任务的实际情况动态的优化数据及其副本在网格范围内的分布，将使得用户向网格中提交的任务有更快的执行时间以及对网格本身有更好的负载均衡，动态数据迁移机制即是为这个目的而开展的研究。两个方面的研究互为补充，共同保证数据网格系统的可靠性、可用性和服务性能。
　　 通过实际测试表明了副本模型在CGSP数据服务中有着完整的功能实现，并能有效地提高数据服务的服务效率。同时，通过仿真分析，表明在副本模型基础上引入数据迁移机制后可以有效提高网格作业的运行效率。