数字海洋中多维分析系统的设计与实现

摘要

为迎接海洋二十一世纪的到来，我国从国家发展战略的高度出发，将发展“数字海洋”列入“十五”和2015年国家海洋科学技术发展计划，其目标是广泛收集海洋立体监测信息，全面完成海洋信息化工程和海洋空间数据基础设施建设，基本实现海洋信息共享和“数字海洋”基础工程建设。为了管理和分析海量的海洋数据，必须对海洋数据进行体系规划并构建数据仓库运用。本文正是在数据仓库系统上构建多维分析的运用，从海量的海洋数据中寻找规律，便于相关海洋科研人员的决策分析。
　　目前世界上已经出现了许多领先的数据仓库产品供应商，但是这些商业产品价格昂贵，并不适合大多数企事业单位或政府机关使用，且由于源码封闭，不利于研究。针对这种情况，数据仓库领域的开源项目得到了迅速的发展，ETL、OLAP、Data Mining等方面均出现了一些优秀的开源产品。本文便是基于OLAP开源引擎Mondrian进行多维分析系统的设计，数据层为关系数据库ORACLE，OLAP引擎基于Mondrian开发，OLAP前端展现基于Jpivot开发，考虑到方案无须EJB支持，J2EE服务器采用Tomcat。为了扩展方便，本文对Mondrian进行了详细的源码分析，对Jpivot进行了一般的源码分析。本文还着重讨论了多维分析逻辑模型的设计以及系统的总体架构。
　　本文着重讨论了多维分析系统的一些实现细节，包括权限模块的设计与实现、ROLAP系统的设计与实现、海洋数据仓库的模式设计以及多用户环境下的一些实现细节。最后我们给出了系统的实施实例，达到了预期目的。
　　数据仓库有着不同于传统事务型数据库的分析处理和超大容量的特点，因此如何建立一个高性能的数据仓库系统已成为当前研究的热点问题。实视图技术和索引技术是提升数据仓库系统性能的两个重要技术。为了提高多维分析系统查询效率，本文提出了一种基于用户查询历史的实视图选择方法。该方法首先对查询语句进行聚类，然后在聚簇内通过视图合并技术得到候选视图，最终根据收益函数得到需要物化的视图。我们利用这些已经物化的视图指导Mondrian的查询处理，提高查询响应效率。实验结果表明，甩户查询响应时间得到很大改善，该方法具有良好的伸缩性，当存储空间有限时，该方法仍然是非常有效的。

目录

声明

摘要

第1章 绪论

1．1 课题的研究背景

1．2 本文的目标和意义

1．3 本文主要工作

1．4 本文组织结构

第2章 相关技术概述

2．1 数据仓库概述

2．1．1 数据仓库的定义和特点

2．1．2 数据仓库的体系结构

2．1．3 多维数据模型

2．2 联机分析处理(OLAP)概述

2．2．1 OLAP的逻辑概念和典型操作

2．2．2 OLAP的体系结构和分类

2．3 实视图技术概述

2．3．1 实视图的选择

2．3．2 实视图的维护

2．3．3 实视图的利用

2．4 本章小结

第3章 多维分析系统设计

3．1 传统的数据仓库架构设计流程

3．2 一种基于开源工具的多维分析设计方案

3．3 相关开源组件的分析

3．3．1 OLAP引擎的设计与实现

3．3．2 前端展现的设计与实现

3．4 多维分析逻辑模型的设计

3．4．1 多维分析系统需求

3．4．2 数据集市模型

3．4．3 多维分析公共维表设计

3．5 作图分析模块设计

3．6 本章小结

第4章 多维分析系统的实现

4．1 多维分析系统的设计方案

4．2 部分关键模块的设计与实现

4．2．1 基于配置文件的权限控制模块的设计与实现

4．2．2 ROLAP系统的设计与实现

4．2．3 海洋数据仓库的模式设计

4．2．4 多用户条件下多维分析实现

4．2．5 作图分析模块实现

4．3 系统实施实例

4．4 本章小结

第5章 基于实视图的性能优化

5．1 实视图选择流程

5．2 查询聚类算法

5．2．1 算法思想

5．2．2 算法描述

5．3 实视图选择

5．3．1 候选实视图的获取

5．3．2 代价模型

5．3．3 收益函数

5．3．4 实视图的选择

5．4 实验结果与分析

5．4．1 查询聚类的实验结果与分析

5．4．2 实视图选择的实验结果与分析

5．5 本章小结

第6章 结论与展望

参考文献

致谢

攻硕期间发表的论文及参加的项目