DOA下的数据注册中心元数据存储策略研究

摘要

伴随国家信息化建设的快速发展，各种各类数据信息不断涌现，时时刻刻为人们的日常生活生产提供信息服务。Internet的全世界普及，使数据每一时刻都在网络中流动，使数据散落在不同的数据存储系统与设备中。为实现数据在客户端汇聚，G/S模式应运而生。它采用“请求(request)-聚合(Polymerization)-服务(Service)”机制对所有的数据信息服务过程进行组织与管理，在客户端实现数据信息汇聚和服务聚合。G/S模式解决了数据的汇聚问题，但是如何管理各种数据，G/S模式并没有提出有效的解决方法。为了能够更快更好的获取数据，为G/S模式服务，成都理工大学教授苗放老师提出了以数据为中心，以标识为主线的面向数据的体系结构——DOA，运用数据的元数据实现对数据的统一管理。
　　 要管理各种类型数据，首先要有相关数据的元数据，所以数据的元数据存储问题，成为了DOA首要考虑的问题。DOA要求数据注册中心能够快速提供数据的元数据信息，如何存储才能快速提供元数据，成为DOA下元数据管理数据的瓶颈，也是本文研究的问题，解决DOA下的数据注册中心元数据快速获取的存储问题，成为当务之急。
　　 本文首先对G/S模式和DOA进行了全面概述，分析了它们的层次结构与对数据汇聚和管理的作用，促使了对元数据存储策略的研究。通过对元数据标准和开发设计框架基础知识的概述，为设计了元数据存储规范准备了基础知识。
　　 本文的工作如下:
　　 (1)研究数据注册中心元数据存储策略
　　 由于DOA使用元数据统一管理各种数据，所以元数据的获取速度决定了DOA的性能。因而，如何存储元数据成为元数据快速获取的关键。在分析研究文件系统方式、LDAP目录存储方式、各种关系数据库存储方式和内存数据存储方式的存储优缺点的基础上，对使用何种存储方式才能使数据注册中心元数据被快速获取进行了分析研究。并依据研究成果，设计了一种能够实现元数据快速获取的元数据存储结构模型。
　　 (2)研究元数据存储的相关算法
　　 基于内存容量的大小和元数据被访问频率的问题，研究为内存提供存储元数据的相关算法。研究了一种基于代价函数的缓存替换算法，为数据注册中心在缓存中动态存储最近有可能被经常访问的元数据。同时进一步研究了在缓存中选取高访问频率元数据表的算法，以实现通常访问的元数据信息存入内存数据库。通过这两种算法，把访问频率高的元数据存入内存，提高了数据注册中心对元数据的获取速度。
　　 本文的创新点与研究成果有:
　　 (1)提出了一种DOA下的数据注册中心元数据快速获取存储策略。
　　 本元数据存储策略，依据DOA下的元数据统一管理数据的要求，利用关系数据库的存储容量、内存数据库的访问效率和缓存动态存储作用，通过基于代价的缓存替换算法实现在缓存中动态存储最近有可能被经常访问的元数据，以提高元数据的获取速度与积累元数据的被访问频率;再通过基于代价函数的缓存选取算法，选取缓存中访问频率最高的元数据表存入内存数据库，完成元数据的内存数据库存储。在此基础上，设计了DOA下的数据注册中心的元数据存储结构模型，并依据此模型设计了DOA下的数据注册中心元数据存储系统。
　　 (2)提出了一种数据注册中心的替换缓存中访问权值最低元数据表的算法。
　　 通过对现存的几种常用缓存替换算法分析研究，从函数的角度，利用缓存数据表大小、访问次数、访问时间和获取缓存数据表的CPU时间，设计了一种基于代价函数的缓存替换算法，实现最近有可能被经常访问的数据表在缓存中的存储。
　　 (3)提出了一种数据注册中心的选取高访问频率元数据表存入内存数据库的算法。
　　 在对现存缓存替换算法研究的基础上，从函数的角度，利用缓存数据表大小、访问次数、访问时间和访问密度，设计了一种基于代价函数的缓存数据表选取算法，实现高访问频率元数据表从缓存到内存数据库的存储。

目录

声明

摘要

第1章 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．3 课题来源

1．4 研究内容

1．5 论文的创新点及成果

1．6 论文的组织结构

第2章 相关基础知识概述

2．1 G／S模式

2．1．1 G／S模式的概念

2．1．2 G／S模式、C／S模式和B／S模式的对比

2．1．3 G／S模式的特点

2．1．4 G／S模式的架构

2．2 DOA

2．2．1 DOA的产生

2．2．2 DOA定义

2．2．3 DOA的层次结构模型

2．2．4 DOA管理的数据的特点

2．3 元数据

2．3．1 元数据概念

2．3．2 元数据标准

2．3．3 元数据分类

2．3．4 元数据的作用

2．3．5 元数据设计与开发

2．4 本章小结

第3章 数据注册中心元数据存储策略及相关算法研究

3．1 常见的数据存储方式

3．1．1 文件系统存储方式

3．1．2 LDAP目录服务存储方式

3．1．3 关系数据库存储方式

3．2 数据的内存存储方式

3．2．1 缓存存储方式

3．2．2 内存数据库存储方式

3．3 数据注册中心元数据存储策略

3．4 相关算法研究

3．4．1 现有缓存替换算法

3．4．2 CFR(Cost function replacement)算法

3．4．3 CFS(Cost function selection)算法

3．5 本章小结

第4章 数据注册中心元数据存储系统设计与实现

4．1 系统开发环境

4．2 元数据存储规范

4．2．1 DOA管理的数据的元数据分析

4．2．2 元数据存储规范

4．3 元数据数据库数据表设计

4．4 元数据存储结构模型主要模块设计

4．4．1 服务器接口设计

4．4．2 缓存集管理模块设计

4．4．3 缓存替换选取信息表设计

4．5 元数据存储过程实现

4．5．1 元数据注册过程

4．5．2 缓存元数据表替换过程

4．5．3 缓存元数据表选取过程

4．6 本章小结

第5章 系统测试

5．1 测试环境

5．2 测试数据设置

5．3 测试结果

5．4 结果分析

5．5 本章小结

总结与展望

致谢

参考文献

攻读学位期间取得的学术成果