内容感知存储系统中信息生命周期管理关键技术研究

摘要

随着存储系统智能化需求的不断提高，越来越多的应用层功能开始融入存储系统，例如自主管理，数据安全以及信息检索等。传统的存储系统以块级或对象级数据处理为主，缺乏文件级信息，无法将信息生命周期管理（Information LifecycleManagement，ILM）功能融入存储系统。遵循XAM（eXtensible Access Method）规范的内容感知存储（Content Aware Storage）系统，由于使用内容元数据（ContentMetadata）对数据的文件级信息进行传载，因此为ILM 融入存储系统提供了基础。研究ILM 融入内容感知存储系统过程中涉及的关键技术，围绕着内容元数据构建信息整合、内容分类、分级存储、数据备份以及信息归档等ILM 数据处理阶段。本研究主要内容包括：
　　 ⑴提出并实现了一种基于内容元数据的信息整合方法。针对ILM 数据处理需求制定了内容元数据规范，包括内容元数据的定义、提取、表示以及传输。以内容元数据为基础，从外在形式和内部语义两方面实现了非结构化信息数据的整合。设计并实现了支持内容元数据规范的存储系统原型，性能测试表明信息整合提高了数据预处理的速度，同时对存储系统的平均I/O 性能影响极小。
　　 ⑵提出并实现了一种面向内容元数据的信息分类算法。针对内容元数据的分类特征数量少但语义质量高的特性，构造了一种基于特征词集合的内容元数据相似度计算模型。该模型根据训练样本中的特征词集合构造相似度矩阵，并通过对矩阵进行平滑运算计算特征词之间的隐式相关性，以此为基础计算内容元数据的特征矢量。基于特征矢量，采用K-Means算法构造数据分类器。性能测试表明，该算法比传统的数据分类算法有着更高的精确度和互信息，并极大地降低了分类计算的时间。提出并实现了一种内容元数据驱动的分级存储模型，包括基于应用需求的分级存储与基于成本需求的分级存储。前者满足信息在备份、归档、安全以及访问控制等应用上的需求，后者侧重于降低单位信息的存储成本同时确保存储系统的I/O 性能。提出了一种基于速率控制的自适应数据迁移算法，将数据迁移I/O 对存储系统正常I/O的影响降至最低。性能测试表明，内容元数据驱动的分级存储模型能有效满足的信息数据的存储需求，同时不影响存储系统的整体性能。
　　 ⑶提出并实现了一种基于内容特征的重复数据删除算法。针对当前数据备份中重复数据删除算法未考虑不同文件类型的内容在比特值分布上的差异，采用候选边界直方图来表示文件类型的内容特征，并在此基础上对传统重复数据删除算法的关键参数进行优化。算法以降低不同文件类型之间的数据缩减率为代价，换取相同类型文件之间数据缩减率的提高。设计了一种支持变长数据块高效存储的文件系统TDFS。性能测试表明，该算法在特定数据集上对数据缩减率（Reduction Ratio）有较大提高。
　　 ⑷提出并实现了一种基于内容元数据的信息归档模型。通过引入支持OAIS（OpenArchival Information System）归档规范的内容元数据标签，实现信息的逻辑保存。提出一种基于磁盘的软件WORM（Write Once Read Many）模型，通过修改磁盘功能划分以及对iSCSI 命令的响应行为，实现信息的物理保存。通过对归档文件加密并在保存逾期后销毁密钥，实现了信息的安全销毁，同时提出了一种基于时间窗口的密钥管理机制降低密钥管理复杂度。性能测试表明，基于内容元数据的信息归档模型能有效满足归档信息的功能需求与性能需求。
　　 ⑸实验表明，内容感知存储系统能有效解决传统存储系统中缺乏文件级语义的问题，通过以内容元数据为核心来构建ILM模型中的关键数据处理阶段，不仅能简化ILM 融入存储系统的复杂性，同时还能极大提高数据访问性能，满足存储系统的智能化需求。

目录

文摘

英文文摘

论文说明:图表目录

声明

1 绪论

2 基于内容元数据的信息整合

3 面向内容元数据的信息分类

4 内容元数据驱动的分级存储

5 基于内容特征的重复数据删除

6 基于内容元数据的信息长期保存与安全销毁

7 总结与展望

致 谢

参考文献

附录