一种优化CIMISS数据库系统及其适配方法

摘要

本发明公开了一种优化CIMISS数据库系统，包括分布式数据库、ORACLE数据库、DPC、SOD以及MUSIC，分布式数据库和ORACLE数据库为双库并用、互为备份的结构；DPC、SOD以及MUSIC均与分布式数据库和ORACLE数据库通信连接。分布式数据库包括负载均衡服务器、引擎服务器、数据库节点以及数据网交换机；负载均衡服务器与气象数据统一服务接口通信连接；以及基于优化CIMISS数据库系统的适配方法，包括DPC适配方案、SOD适配方案以及MUSIC适配方案；本发明解决了现有技术存在的在大量数据增加的情况下数据查询的时效变差、查询效率不高以及小型机价格昂贵导致的扩展性价比低问题。

说明书

技术领域

本发明属于数据库技术领域，具体涉及一种优化CIMISS数据库系统及其适配方法。

背景技术

CIMISS(China Integrated Meteorological Information Service System)，是全国综合气象信息共享平台的简称，该系统集数据收集与分发、质量控制与产品生成、存储管理、共享服务、业务监控于一体，部署于国家级和31个省，于2016年开始在全国各省投入业务运行。目前，CIMISS已实现300余种基础气象数据的统一存储管理，并提供实时历史一体化长序列数据在线服务。支撑了MICAPS4、CIPAS、MDOS等100多个国家级、省级气象业务应用，成为现代气象业务体系的基础业务系统。

CIMISS中数据存储管理系统(Service-Oriented Data Storage System，简称SOD)，其核心是构建一个“气象信息数据库系统”，这一数据库系统是上游数据收发、加工处理与下游的共享服务系统之间的衔接点和转折点。在业务运行过程中，上游系统将数据源源不断传递到该系统，以规范化的格式存储之后，该系统将快速向下游系统发布数据和提供数据服务。因此，SOD系统的存储能力、运行效率和稳定性将直接影响到CIMISS整个数据流程运行的稳定性和对外的数据服务能力。

现有技术存在以下问题：

(1)在系统运行方面，随着气象现代化建设的推进，站网规模逐步扩大，观测频度持续提高，接入CIMISS的探测资料种类和量级增长明显，导致气象数据入库时效低；

(2)随着CIMISS支撑气象业务系统数量的增加，现有技术数据库采用的ShareDisk架构受制于磁盘IO瓶颈，其系统性能难有大幅提升，在高并发的用户数据请求时，各类数据查询的时效和效率变低，尤其是时间序列跨度较长的统计类查询，其服务效果难以达到用户的需求；

(3)现有技术数据库采用的Share Disk架构中的节点皆为小型机，由于价格较为昂贵，对其进行扩展的性价比较低，并且当存储器接口达到饱和时，无法进行扩展，进一步导致CIMISS的数据查询效率不高。

发明内容

针对现有技术中的上述不足，本发明提供了一种数据入库时效性高、节约资金投入以及拓展性高的优化CIMISS数据库系统及其适配方法，改善了CIMISS数据库系统性能，提高了数据查询的时效性，解决了现有技术存在的在大量数据增加的情况下CIMISS数据查询的时效变差、查询效率不高以及小型机价格昂贵导致的扩展性价比低问题。

为了达到上述发明目的，本发明采用的技术方案为：

一种优化CIMISS数据库系统，包括分布式数据库、ORACLE数据库、数据加工处理系统DPC、数据存储管理系统SOD以及气象数据统一服务接口MUSIC，分布式数据库和ORACLE数据库为双库并用、互为备份的结构；

DPC、SOD以及MUSIC均与分布式数据库和ORACLE数据库通信连接。

分布式数据库采用Share Nothing架构，包括依次通信连接的负载均衡服务器、引擎服务器、数据库节点以及数据网交换机；负载均衡服务器与气象数据统一服务接口通信连接。

进一步地，DPC，用于提供结构化数据的入库流程；

SOD，用于提供非结构化数据的入库流程；

MUSIC，用于提供统一、标准的数据访问服务和应用编程接口，并为国、省、地、县各级应用系统提供唯一数据接入服务。

进一步地，负载均衡服务器，用于优化访问请求在服务器组之间的分配，消除服务器之间的负载不平衡，并对服务器的运行状况进行监控，将运行异常的数据库节点的访问请求转移到正常工作的数据库节点上；

引擎服务器，采用分布式安装在多个数据库节点上，用于将各数据库节点的性能信息和负载情况不断地通过消息机制通知给负载均衡服务器；

数据库节点，用于存储非结构化数据和结构化数据；

数据网交换机，用于完成数据库节点之间的数据信息接转。

进一步地，数据库节点可扩展，并且扩展的新数据库节点分别与引擎服务器和数据网交换机通信连接。

一种基于优化CIMISS数据库系统的适配方法，对DPC、SOD以及MUSIC进行相应的适配性调整，实现将分布式数据库嵌入CIMISS中，包括DPC适配方案、SOD适配方案以及MUSIC适配方案。

进一步地，DPC适配方案，包括如下步骤：

A-1：扩展DPC node01节点配置，简化数据入库请求分发两个目的地的过程；

A-2：根据扩展后的DPC，在DPC的node03、node04和node05节点分别安装部署独立的结构化数据入库进程，并接受DPC主进程发送的消息；

A-3：将接收到的DPC进程消息进行解码，取得文件的位置信息；

A-4：根据文件的位置信息，将数据写入分布式数据库。

进一步地，SOD适配方案，为通过数据同步工具实现ORACLE数据库中非结构化数据异步更新至分布式数据库。

进一步地，MUSIC适配方案，包括如下步骤：

B-1：将数据源从ORACLE数据库更换为分布式数据库；

B-2：将用户访问请求进行解析，形成检索的SQL语句；

B-3：根据SQL语句和分布式数据库的JDBC，驱动实现对分布式数据库的访问。

本方案的有益效果为：

(1)本发明针对CIMISS数据库的性能瓶颈点--数据库部分进行升级改造，采用分布式数据库，大幅增强其数据的存储和服务能力，提高了数据查询的效率；

(2)分布式数据库与原有ORACLE数据库形成双库并用、互为备份的格局，提高了整个CIMISS系统的存储能力和服务能力，提高了数据入库的时效性；

(3)分布式数据库采用Share Nothing架构，融运算与存储一体，通常采用廉价的设备堆叠出高性能、高扩展性和高可用的集群系统，具有较好的扩充性和性价比，并且节约了资金投入。

附图说明

图1所示为优化CIMISS数据库系统框图；

图2所示为分布式数据库结构框图；

图3所示为DPC适配方案流程图；

图4所示为MUSIC适配方案流程图。

具体实施方式

现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。

一种优化CIMISS数据库系统，如图1所示，包括分布式数据库、ORACLE数据库、数据加工处理系统DPC、数据存储管理系统SOD以及气象数据统一服务接口MUSIC，分布式数据库和ORACLE数据库为双库并用、互为备份的结构；

DPC、SOD以及MUSIC均与分布式数据库和ORACLE数据库通信连接。

分布式数据库采用Share Nothing架构，如图2所示，包括依次通信连接的负载均衡服务器、引擎服务器、数据库节点以及数据网交换机；负载均衡服务器与气象数据统一服务接口通信连接。

本实施例中，DPC，用于提供结构化数据的入库流程；

SOD，用于提供非结构化数据的入库流程；

MUSIC，用于提供统一、标准的数据访问服务和应用编程接口，并为国、省、地、县各级应用系统提供唯一数据接入服务。

本实施例中，负载均衡服务器，用于优化访问请求在服务器组之间的分配，消除服务器之间的负载不平衡，并对服务器的运行状况进行监控，将运行异常的数据库节点的访问请求转移到正常工作的数据库节点上；

引擎服务器，采用分布式安装在多个数据库节点上，用于将各数据库节点的性能信息和负载情况不断地通过消息机制通知给负载均衡服务器；

数据库节点，用于存储非结构化数据和结构化数据；

数据网交换机，用于完成数据库节点之间的数据信息接转。

本实施例中，数据库节点可扩展，并且扩展的新数据库节点分别与引擎服务器和数据网交换机通信连接。

一种基于优化CIMISS数据库系统的适配方法，对DPC、SOD以及MUSIC进行相应的适配性调整，实现将分布式数据库嵌入CIMISS中，包括DPC适配方案、SOD适配方案以及MUSIC适配方案。

本实施例中，DPC适配方案，如图3所示，包括如下步骤：

A-1：扩展DPC node01节点配置，简化数据入库请求分发两个目的地的过程；

A-2：根据扩展后的DPC，在DPC的node03、node04和node05节点分别安装部署独立的结构化数据入库进程，并接受DPC主进程发送的消息；

A-3：将接收到的DPC进程消息进行解码，取得文件的位置信息；

A-4：根据文件的位置信息，将数据写入分布式数据库。

本实施例中，SOD适配方案，为通过数据同步工具实现ORACLE数据库中非结构化数据异步更新至分布式数据库。

本实施例中，MUSIC适配方案，如图4所示，包括如下步骤：

B-1：将数据源从ORACLE数据库更换为分布式数据库；

B-2：将用户访问请求进行解析，形成检索的SQL语句；

B-3：根据SQL语句和分布式数据库的JDBC，驱动实现对分布式数据库的访问。

本发明提供了一种数据入库时效性高、节约资金投入以及拓展性高的优化CIMISS数据库系统及其适配方法，改善了CIMISS数据库系统性能，提高了数据查询的时效性，解决了现有技术存在的在大量数据增加的情况下CIMISS数据查询的时效变差、查询效率不高以及小型机价格昂贵导致的扩展性价比低问题。