基于IP-SAN的海量存储技术的研究与实现

摘要

随着企业信息爆炸性增长，对存储容量和可靠性的要求越来越高，存储技术得到广泛关注，特别是网络存储技术的研究已成为存储行业的热点。IP-SAN以其相对低廉的价格和高效的性能，成为当前网络存储关键技术之一。 本文的研究课题来源于两个具体开发项目，第一个是西北工业大学计算机学院与国外某大型IT企业(世界500强企业之一)的一个合作项目“基于存储区域网络的海量数据的研究”。该项目的基本目标是实现跨平台的海量数据备份管理系统。第二个是西北工业大学软件学院和国内大型航空航天研究所的合作项目“基于存储网的异构数据库整合系统”。该项目主要是解决数据孤岛问题，消除数据重复，实现对唯一数据源的多维应用系统。 本文是作者对在上述两个课题中研究工作和取得研究成果的总结。主要研究在基于IP-SAN技术下解决海量存储问题所遇到的一些问题，其中包括海量存储的备份容灾问题，IP-SAN系统的安全问题，SAN的资源管理调度算法，海量数据的数据分解及其异构数据的集成问题；并在解决这些问题的基础上实现了相关的两个具体的基于IP-SAN的应用系统。 本文的创新之处概述如下： 一、提出了基于集群技术的SAN系统结构实现了两层的透明性功能：第一，用户对存储设备的透明性访问；第二，调度器的具体实现对用户的透明。给出了用户访问存储设备的具体步骤，描述了基于集群技术的SAN体系结构的优势。 二、提出并实现了基于拟序的关联备份任务模型及其调度算法在关联备份任务模型中，某些处于等待状态的备份任务因为被等待的事件没有到来，使得所有备份任务的执行结束时间被推后。为了解决这一问题，本文提出了基于拟序的关联备份任务模型，并实现了具体调度算法，从数学模型上验证其符合拟序关系，给出相应的数学推导和证明表示其完备性和正确性。另外，通过对具体实验结果进行分析研究，表明这种基于拟序的关联备份任务模型能够有效提高系统效率。 三、提出并实现了基于信息隐藏的安全IP-SAN系统模型通过对IP-SAN系统及其现有安全机制的分析研究，提出了基于信息隐藏的安全IP-SAN系统模型。介绍了信息隐藏技术的核心思想及特点，分析了信息隐藏技术相对与传统加密技术的优势，在此基础上，对信息隐藏和信息还原的具体算法进行了详细描述，并引入信息熵的概念作为度量标准，得出本文设计的基于信息隐藏的IP-SAN系统具有较高的安全性能。另外，探讨了增强IP-SAN系统安全性的各种有效的方法。 四、提出了基于目录技术的SAN存储资源管理模型在对SAN系统模型进行分析研究的基础上，提出了基于目录技术的SAN资源管理模型。详细描述了目录管理模型及数据访问的算法。对SAN的节点性能进行了深入分析，采用了衡量节点负载的标准，对错误的检测及容错策略进行了进一步研究。在此基础上进一步探讨了故障预测技术，通过采用故障预测技术对节点故障进行预测，增强系统性能。 五、提出了基于对象层次思想的数据描述方式层次化可以在一定程度上解决内容描述的复杂性。本文提出了基于对象层次思想的数据描述方式，对数据的物理层，结构层和语义层建立数学模型，证明其相互联系。在此基础上对同一数据源进行多种层次的应用。同时，通过对数据库系统文档描述进行进一步研究，实现了数据库系统文档描述单元(MDU)在飞机设计数字化工程中的应用模型。 六、提出并实现了基于XML的异构数据库转换算法为了解决异构数据库集成过程中的数据转换问题，在对异构数据库自身特点以及XML技术进行了深入研究的基础上，提出了基于XML的异构数据库转换思想，重点论述了通过XML进行异构数据库转换的具体实现，并给出了相应的转换算法。 七、提出并实现了基于IP-SAN的分层异构数据集成算法在飞机设计数字化中的应用基于IP-SAN所具有的诸多优势，提出了以IP-SAN形成数据中心，基于对象层次思想的异构数据库集成算法，实现了飞机设计数字化工程中的异构数据库集成系统，在给出系统体系框架图的基础上，描述了系统集成层次结构及特点。 本文所探讨的内容是基于IP-SAN系统的海量存储的研究与实现方面的进一步研究和完善，所取得的研究成果可以为大规模商业应用、科学计算、网络计算、高性能计算、航天探索，数据集成等数据密集型领域中存储系统软件的设计提供支持。因此本文的研究具有重要的理论意义和工程应用价值。

目录

文摘

英文文摘

声明

第一章绪论

1.1研究的目的和意义

1.2课题来源

1.3国内外研究概况

1.4本文的主要研究成果及创新之处

1.5本文的组织

第二章IP-SAN系统的研究

2.1 IP-SAN概念

2.2 SNA技术分类/存储网络技术分类

2.2.1直接附加存储DAS(Directed Attached Storage)

2.2.2网络附加存储NAS(Network Attached Storage)

2.2.3存储区域网络SAN(Storage Area Network)

2.2.4 IP-SAN和FC-SAN的对比

2.2.5推动IP-SAN产生的因素

2.3存储标准和应用

2.3.1 IP光纤通道(FCIP)

2.3.2 Internet光纤通道(iFCP)

2.3.3 Internet SCSI(iSCSI)

2.4 IP-SAN的优势和仍需解决的关键技术

2.4.1技术优势

2.4.2需要解决的关键技术

2.5 IP-SAN发展阶段

2.6 IP-SAN的应用

2.7本章小结

第三章基于拟序备份任务的存储集群的研究与实现

3.1 SAN技术在备份中的应用

3.2基于集群技术的SAN系统构架

3.3基于拟序的关联备份任务模型

3.3.1关联备份任务

3.3.2关联备份任务的数学模型

3.4算法分析

3.5本章小结

第四章基于信息隐藏的安全IP-SAN系统的研究与实现

4.1 IP-SAN系统的具体分析

4.1.1概念综述

4.1.2 IP-SAN系统的结构

4.1.3 IP-SAN系统的安全问题

4.2解决IP-SAN系统安全问题的原有措施

4.2.1 IP-SAN安全模型

4.2.2磁盘密钥的共享

4.2.3用户认证

4.2.4数据的安全性

4.3基于信息隐藏的安全IP-SAN系统的研究

4.3.1信息隐藏技术简介

4.3.2新型安全IP-SAN系统的对策及特点：

4.3.3关键算法实现

4.3.4算法评价

4.4增强IP-SAN系统安全性的辅助方法

4.5基于信息隐藏的安全IP-SAN系统实例

4.5.1综合应用IP-SAN

4.5.2各种攻击及相应的解决方案

4.6本章小结

第五章SAN系统中的资源管理

5.1 SAN资源模型

5.1.1虚拟存储

5.1.2 SAN模型

5.2元数据目录管理

5.2.1目录管理模型

5.2.2元数据类型

5.2.3数据访问算法

5.3 SAN节点的性能

5.3.1存储节点的性能及负载衡量标准

5.3.2数据复制

5.3.3 Cache技术

5.4存储节点故障预测与检测

5.5本章小结

第六章基于IP-SAN的分层异构数据库集成的研究与实现

6.1数据的表示

6.1.1数据库系统

6.1.2数据库系统文档描述

6.1.3数据库系统描述单元(MDU)及其映射关系

6.1.4 MDU内对象间关系

6.1.5数据库系统文档描述的形式化

6.1.6 MDU在飞机设计数字化工程中的应用

6.2基于IP-SAN的数据中心

6.2.1数据中心主机系统总体设计准则

6.2.2 IP-SAN数据中心存储系统的特点

6.2.3数据中心建设方案

6.2.4 IP-SAN数据中心在飞机设计数字化工程中的应用

6.3异构数据库的集成

6.3.1异构数据库简介

6.3.2异构数据库集成需要解决的问题

6.3.3 XML实现异构数据库转换

6.3.4数据的透明访问

6.3.5异构数据库集成平台的分析

6.3.6关键技术

6.4飞机设计数字化工程中数据库集成系统的实现

6.4.1系统说明

6.4.2数据库集成方面的工作内容

6.4.3系统特点

6.5本章小结

第七章总结与展望

7.1总结和结论

7.2未来的研究工作

参考文献

致谢

作者在学习期间从事科研工作及发表论文情况