WEB-MAGIS环境下海量海洋大气数据管理方法与优化策略研究

摘要

WEB-MAGIS作为专门用于海洋大气领域的地理信息系统平台软件，无缝集成了数据服务、时空分析、可视化服务三大功能，为客户提供高效、灵活的在线服务。海洋大气数据存在着多来源、多格式、长时间序列、数据量大等特点，作为WEB-MAGIS平台的基础，为平台各种功能的实现提供可靠的数据源。本文介绍了在对数据进行预处理的基础上，应用ORACLE数据库管理海洋大气数据，同时，针对海洋大气数据海量的特点，提出了多种数据管理的优化解决方案，从而实现数据优化存储，提高查询效率。主要研究内容及其结果描述如下： 1.数据预处理方法研究 由于海洋大气数据来源众多，所以不同数据格式、质量标准都存在一定差异，为了满足用户的应用需求，须对获得的原始数据进行预处理。文中介绍的预处理过程主要包括对多种数据格式数据进行读取、转换，对空值、无效值和错值进行处理，从而实现对数据的质量控制。 2.关系数据库管理海洋大气数据及其基本优化研究 基于ORACLE数据库，并利用传统关系结构管理海洋大气数据及相关数据集和数据文件的元数据信息。利用传统数据库优化方式，采用内存调优、语句调优及分区技术对数据库进行优化，从而提高数据查询效率。 3.分布式数据库管理海洋大气数据应用研究 由于海洋大气数据主要面向查询应用，查询效率和存储空间是主要考虑因素。基于这种需求，对海洋数据优化存储进行研究，改交了传统关系存储模式，将数据进行分片处理后存在不同数据库服务器中，从而实现数据分布式管理，同时介绍相应的数据操作方法。 4.数据仓库管理海洋大气数据应用研究 根据海洋大气数据其独特的长时间序列、弱操作性等特点与数据仓库面向主题、集成的、相对稳定的、反映历史变化的特点相一致，文中论证了数据仓库技术在解决海洋大气数据管理中的适应性。设计了主题数据仓库结构，并介绍其具体实现过程。 本文在上述研究及应用基础上，实现了海量海洋大气数据的集成与管理，并根据提出的优化方案进行数据优化处理，对比相应结果。同时，将海洋大气数据应用到WEB-MAGIS平台中，作为该平台的数据源为用户提供相关服务。

目录

文摘

英文文摘

声明

1绪论

1.1研究背景和意义

1.1.1研究背景

1.1.2研究意义

1.2研究现状

1.2.1国内外海洋数据平台现状

1.2.2海洋数据管理技术应用现状

1.3主要研究内容和论文的结构组织

1.3.1研究内容

1.3.2论文结构

2几种常用海洋大气数据预处理方法研究

2.1几种常用海洋数据格式的读取

2.1.1常用海洋数据格式介绍

2.1.2常用海洋数据格式读取工具调研

2.1.3常用海洋数据格式的读取

2.2海洋大气数据质量控制方法研究

2.2.1数据质量控制情况简介

2.2.2常用海洋大气数据空值、无效值处理方法

2.2.3利用数据融合技术实现遥感数据质量控制

3海洋大气数据库构建及其基本优化方法研究

3.1海洋大气数据库构建

3.1.1海洋大气数据管理

3.1.2海洋大气数据应用

3.2海洋大气数据库基本优化方法研究与应用

3.2.1内存参数调优

3.2.2 SQL语句调优

3.2.3应用索引优化

3.2.4应用分区优化

4海洋大气数据库高级优化方法研究

4.1分布式数据库的研究与应用

4.1.1分布式数据库用于海洋大气数据管理的可行性

4.1.2分布式数据库的结构设计

4.1.3分布式数据库的实现

4.1.4分布式数据库应用效果

4.2数据仓库的研究与应用

4.2.1数据仓库用于海洋大气数据管理的可行性

4.2.2数据仓库模型结构设计

4.2.3数据仓库模型实现过程

4.2.4数据仓库技术应用效果

5总结与展望

5.1总结

5.2展望

参考文献

致谢

在学研究成果