一种基于大数据的海量气象数据统一服务接口的实现方法

摘要

本发明公开了一种基于大数据技术的海量气象数据统一服务接口的实现方法，其实现方法包括：首先，基于气象数据环境中的各类数据资源，建立适配不同数据格式的接口，获取和处理各种类型的数据；其次，按照接口的输入参数、输出格式等标准对接口进行标准化封装，提供标准化的调用接口；再次，根据不同的服务类型，调用标准化的调用接口来实现气象数据统一服务，且所述气象数据统一服务接口分为通用接口和定制接口；最后，用户调用气象数据统一服务接口来获取不同的服务，用于向各应用系统提供统一的数据支撑服务。

说明书

技术领域

本发明属于气象数据管理与应用技术领域，具体涉及一种基于大数据的海量气象数据统一服务接口的实现方法。

背景技术

随着气象观测系统的发展，获取的气象数据越来越多，种类越来越繁杂，数据的格式也多种多样，后端数据组织管理方式的不断进行技术升级，给前端用户调用数据带来不必要的麻烦。

当前气象应用系统传统的数据使用方式是直接访问数据库，比如：MICAPS、CIPAS、SWAN及省级应用等。当这种直接访问数据库的方式，使应用与数据存储紧耦合，数据资源的内容、格式和存储方式的变化，都需要应用随之改变。而观测业务的改革和发展，带来的数据格式时有变化，而且新的数据不断增加；新的存储技术不断发展，存储系统将持续升级，这些都为应用对数据调用的适配带来冲击。

近年来随着互联网技术的发展，能够将数据资源和支撑能力进行服务化改造，来构建灵活可扩展的系统架构。在气象行业，近几年国家气象信息中心、以及广东、四川、重庆等个别省市信息中心，基于本地数据库开发了各自的服务接口，支撑本地应用，取得了较好效果，但因接口标准不同、功能相对有限，难以做到全国推广和支持国省市县各级应用。2015年中国气象局建成了国省统一的数据环境，如何基于气象数据环境中的海量的气象数据资源来为国省市县各级的应用系统提供统一的数据支撑服务，是目前亟待解决的问题。

发明内容

针对上述存在的问题，本发明提供一种基于大数据技术的海量气象数据统一服务接口的实现方法。

实现本发明目的的技术解决方案为：

一种基于大数据的海量气象数据统一服务接口的实现方法，其特征在于，包括以下步骤：

步骤1：基于气象数据环境中的各类数据资源，建立适配不同数据格式的接口，获取和处理各种类型的数据；

步骤2：按照接口的输入参数、输出格式等标准对接口进行标准化封装，提供标准化的调用接口；

步骤3：根据不同的服务类型，调用标准化的调用接口来实现气象数据统一服务，且所述气象数据统一服务接口分为通用接口和定制接口；

步骤4：用户调用气象数据统一服务接口来获取不同的服务，用于向各应用系统提供统一的数据支撑服务。

本方法与现有技术相比，具有以下有益效果：

第一，本发明提供的气象数据统一服务接口MUSIC(Meteorological UnifiedService Interface Community)基于分布式架构，遵循统一的服务接口标准，采用多线程池化、数据缓存、Web Service以及通信中间件等技术，屏蔽了底层复杂的数据存储技术和多样的数据格式，实现多源、异构数据的统一透明访问。

第二，为满足不同用户的调用需求，MUSIC提供跨平台SDK、Web Service、RESTfulAPI、以及脚本服务。通过MUSIC可以对气象数据环境中的气象数据进行检索、统计、裁剪、抽取等处理工作，实现应用对数据的快速访问。

第三，为满足应用的推广部署需求，MUSIC提供各分节点定制接口的同步流程，保障各节点定制接口的一致性，实现应用在各分节点的快速推广部署。

第四，为满足用户对调用接口信息的了解，MUSIC提供在线数据接口帮助和试用网站，包含接口的参数说明、赋值的样式、开发的示例、返回数据样式等，降低开发和应用难度。

目前，MUSIC不但在国家级业务中心部署，并已经推广应用到省级业务中心，支持国省市县四级应用，每年访问量超过10亿次。

附图说明

图1为基于大数据的海量气象数据统一服务接口的实现方法的流程示意图；

图2为本发明实现方法的数据流转示意图；

图3为本发明中的提供的服务接口示意图；

图4为具体实施方式中所述的接口信息发布网站的示意图；

具体实施方式

为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。

参考附图1可知，本发明提出的一种基于大数据的海量气象数据统一服务接口的实现方法，包括以下步骤：

步骤1：基于气象数据环境中的各类数据资源，建立适配不同数据格式的接口，获取和处理各种类型的数据；

步骤2：按照接口的输入参数、输出格式等标准对接口进行标准化封装，提供标准化的调用接口；

步骤3：根据不同的服务类型，调用标准化的调用接口来实现气象数据统一服务，且所述气象数据统一服务接口分为通用接口和定制接口；

步骤4：用户调用气象数据统一服务接口来获取不同的服务，用于向各应用系统提供统一的数据支撑服务。

进一步地，参考附图2可知，步骤1所述建立适配不同数据格式的接口，获取和处理各种类型的数据的具体步骤包括：

步骤11：建立不同功能接口，其包括数据获取、数据统计、格式转换、历年同期、格点数据解析、数据缓存和数据写入接口；

步骤12：对气象数据环境中的各类数据资源，所述数据资源包括匹配分布式数据库和分布式文件系统等存储形式，通过数据获取和数据写入接口将这些数据读取和写入；

步骤13：基于所获取的数据，利用所建立的数据统计、格式转换、历年同期、格点数据解析、数据缓存接口对数据进行处理，得到标准化数据。

进一步地，步骤2所述建立标准化调用接口的标准为访问格式、接口参数、返回格式和数据量纲。

进一步地，参考附图3可知，步骤3中所建立的气象数据统一服务接口调用形式包括SDK、web service/RESTfulAPI和脚本，其针对不同的系统平台、开发语言、开发习惯和应用模式，便于用户使用，还附带提供接口信息发布网站；

参考附图4可知，该接口信息发布网站，能够向用户提供详细的说明和指导来让用户使用接口。其对每个接口描述其调用方法、参数信息、各个语言的示例代码和示例结果等。发布接口可调用的数据清单，对每类数据描述其基本信息、要素清单、使用说明等。并且对于气象数据的特征值定义、标识代码、返回码定义等接口调用和资料使用中所需的辅助信息，也在网站上集中发布。

进一步地，由于不同的应用系统在数据获取和应用方式上存在差异，调用接口的频率、以及每次调用获取的数据量上有所不同；此外，数据获取者有不同的调取习惯，有的习惯用编程的方式调用，有的习惯用脚本方式调用；故本发明的气象数据统一服务接口提供3类接口服务方式，满足不同的应用模式：

所述SDK为基于开源数据传输中间件ZeroIce实现的多语言的客户端开发包，用于调取大数据量的数据和文件，传输效率较高，用户需要基于下载的SDK进行开发。支持AIX、Linux、Windows等主流系统平台，提供C/C++、Fortran、Java、C#、PHP、Python等多语言版本。主要适用于后台加工处理系统，如数值模式系统；在SDK中，接口只负责向服务端传递标准定义的参数，接收标准格式的结果数据，其简单的功能定位可保障SDK的稳定；

所述web service/RESTfulAPI基于标准SOAP协议，调用简单，无需装载客户端，服务端基于标准发布接口即可保障用户端的稳定，其支持XML、JSON、JSONP、HTML、TEXT等多种序列化返回格式，主要用于交互平台；

所述脚本服务接口包括调用工具和脚本参数模板，，用户根据应用场景设置好检索条件、配置好脚本，通过执行调用工具即可获取数据。

在服务接口定义的粒度上，通常有两种选择：通用接口和定制接口。前者实现若干个有限但功能较强的接口，其参数不定，用户通过选择参数列表中的若干参数进行赋值来调用接口；后者针对一个个应用场景开发和提供接口，每个接口的参数有限且固定；该方式使用门槛低，用户只需按固定参数逐个赋值调用即可。

实际部署时，将通用接口和定制接口进行综合应用，实现上使用通用接口，面向用户发布定制接口；每个定制接口，配置其参数组合，通过元数据与某个通用接口进行关联。用户调用定制接口，系统将请求及其参数转发给相应的通用接口，由其处理并返回数据。基于该设计，一是能面向用户提供针对应用场景的服务接口，用户使用方便，二是对于新增的应用场景，通过配置即可发布新的服务接口，能快速响应用户需求。

进一步地，所述气象数据统一服务接口为分布式部署方式，其部署步骤为：

S1：将每个定制的气象数据统一服务接口都看作为一个元数据，建立一个元数据中心节点和若干个元数据分节点；

S2：当任何一个分节点新增或更新服务接口时，自动提交元数据更新信息到中心节点；

S3：管理员在中心节点进行审核，当审核通过后发布新的服务接口，并发送更新通知到各分节点；

S4：各分节点收到通知后进行同步，公开新服务接口的访问。

以国省统一的数据服务为例，建立分布式的元数据同步机制实现接口在国省同步。首先，建立一个元数据中心节点，国家级和31个省均为分节点；在任何一个分节点新增或更新了服务接口，将自动提交元数据变更申请到中心节点；管理员在中心节点进行审核，通过后接口正式发布；每个分节点都会收到接口更新通知，按本地应用需求进行选择和同步。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。尽管参照前述实施例对本发明专利进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。