一种陆地大气气溶胶反演分布式工作流依赖关系刻画方法

摘要

一种陆地大气气溶胶反演分布式工作流依赖关系刻画方法，涉及高性能地学计算领域，尤其面向云计算的MOSDIS数据，通过构建一个多元组，用6要元从数学形式化上描述一个分布在网络上的有限图，对气溶胶遥感反演分布式工作流依赖关系进行数学形式化刻画；通过对抽象刻画方法的解译，获取相关遥感处理任务、配置、控制信息后，将抽象的服务流进行资源映射，获得Web？Service封装的遥感反演处理及数据处理相关服务，驱动气溶胶反演处理过程在分布式的运算环境下的执行。在流程定义阶段，调用Web？Services；通过对与分叉、与合并、或分叉、或合并四种构造模块进行流转控制，实现在分布式的计算机环境中按照并行与串行、前趋与后续关系有序执行，实现气溶胶的快速反演。

说明书

技术领域

本发明涉及高性能地学计算领域，尤其是面向云计算的MODIS数据陆地大气气溶胶反演分布式工作流依赖关系刻画方法。

背景技术

MODIS（英文moderate-resolutionimagingspectroradiometer的缩写，全称为中分辨率成像光谱仪）数据陆地大气气溶胶遥感反演需要进行大量的数据预处理和复杂的辐射传输方程的计算，运算量大，耗时长。这些处理过程主要包括，定标、辐射传输、集合校正等数据预处理，波段运算、图像变换、数据融合等图像处理，非线性方程组求解等反演运算以及后处理等操作。采用面向MOSDIS数据陆地大气气溶胶反演的分布式工作流技术可以对这些流程步骤进行分解，形成相互之间有依赖关系的子任务，并按照子任务前趋与后续、并行与串行关系在分布式的计算机环境中运行，进而可以降低整体反演处理时间，从而实现气溶胶的快速反演。在对这些过程进行描述时，采用自然语言或数据流图等方式，会引起相互冲突的陈述及对陈述不同方式的理解，几乎不可避免地会出现含糊性，并且这些描述方式不完整，抽象层次混乱。因此需要采用数学形式化的方法对上述过程进行简洁准确地描述其状态、现象或动作的结果，实现在不同的软件工程活动之间平滑过渡，但现有技术中没有如何实现的方法，如何实现是本领域技术人员不断探索的技术问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种陆地大气气溶胶反演分布式工作流依赖关系刻画方法，实现在分布式的计算机环境中按照并行与串行、前趋与后续关系有序执行，实现气溶胶的快速反演。

为了达到上述目的，本发明采用的技术方案是：

一种陆地大气气溶胶反演分布式工作流依赖关系刻画方法，所述方法面向MODIS数据，包括如下步骤：

步骤1.根据有限图DND=（S，T，I,O，N，D）规则构建的遥感反演服务流描述器对气溶胶定量反演处理步骤进行抽象化描述，形成有依赖关系的抽象服务流；

步骤2.服务流解析器对抽象服务流按照任务、配置信息、控制信息几个类别进行解析，分解成为服务匹配器可识别的相关参数，将抽象服务流进行资源映射；

步骤3.服务匹配器根据获取的任务、匹配信息、控制信息，与UDDI服务注册中心、元数据目录、数据分块管理、任务管理器进行通信，调度相关模块运行；

步骤4.任务管理器根据获取的服务地址、数据块地址、控制信息、配置信息，驱动执行器按序、并/串行执行Web服务流（即网页服务流），并对执行过程监控，对异常报错，并重启执行；

步骤5.执行器在执行过程中遇到气溶胶反演处理服务调用点时，在服务注册库中查找到对应的Web服务发送给执行器，进行实例执行，并获取处理结果；

步骤6.在执行过程中，执行器依次从服务注册库中取出气溶胶反演处理服务来绑定调用；当一个气溶胶反演处理服务调用失败时，将其从服务注册库中删除，并触发异常处理器进行处理；

步骤7.重复步骤3-6，直至流程执行至无后继调用点，完成大气气溶胶的反演；

所述的DND规则通过六个要元描述一个分布在网络上的有限图，且DND=（S，T，I,O，N，D）；其中S={s₁,s₂...,s_p}描述气溶胶遥感反演处理算法状态有限集合，p>0为S集的个数；T={t₁,t₂...,t_k}描述转换过程这一有限集合，k>0为转换过程的个数；N={n₁,n₂...,n_q}为网络数据节点IP地址集，q>0为网络中数据节点个数；D={d₁,d₂...,d_u}为数据集及其分割集,u>0为一个MODISHDF（HDF为HierarchicalDataFormat的缩写，可以存储不同类型的图像和数码数据的文件格式）格式文件及其分割的数据块数；I:D×S×T->Z为输入函数，定义了被分布在不同数据节点上的HDFS（即Hadoop分布式文件系统）数据文件在S到T的有向弧的重复数或权的集合，此处Z={0,1，...}为非负整数集；O:T×D×S->N为输出函数，定义了气溶胶遥感反演处理算法在不同数据节点上进行转换，并将处理结果重映射到不同网络的过程的集合。

作为本发明的较佳实施例，本发明所述S={s₁,s₂...,s_p}在气溶胶遥感定量分布式服务流运行状态刻画中，包括如下处理步骤：

步骤S101.对经纬度、太阳天顶角、传感器天顶角波段进行MODIS数据提取；

步骤S102.对原始MODIS1KM分辨率数据按照10KM、1KM、500M，进行经纬度和天顶角数据重采样；

步骤S103.根据研究区域，根据经纬度对天顶角进行MODIS影像裁剪；

步骤S104.根据太阳天顶角、传感器天顶角进行MODIS影像拼接；

步骤S105.根据经纬度对太阳天顶角、传感器天顶角进行几何校正；

步骤S106.从MODIS原始文件提取云掩膜信息；

步骤S107.从原始MODIS数据中提取Band1,2,3,4,7的表现反射率；

步骤S108.根据地面观测点经纬度和卫星过境时间，提取与卫星同步的地面台站观测数据；

步骤S109.计算AOT（英文AdvancedOxidationTechnologies的缩写，中文意思为高级氧化技术）迭代反演的初始值；

步骤S110.计算AOT；

步骤S111.与地面实测比较，验证反演结果。

作为本发明的较佳实施例，本发明所述D={d₁,d₂...,d_u}包括如下数据和分割集：

步骤S201.将中分辨率成像光谱仪的一级数据产品MOD02、MOD03数据，大气标准产品MOD35、MOD04数据、AERNET（AErosolROboticNETwork）数据这些待处理数据源按照时间单位天并入同一目录，然后按照月、年形成更高一层数据目录，以此形成输入数据集；

步骤S202.对与合并、或合并后的遥感专用软件产生的hdr与img格式的中间处理结果进行归档处理，并从T中任务管理节点集获取归档节点，形成中间归档数据集；

步骤S203.对与分叉、或分叉后的中间处理输入数据hdr、img进行数据分块，并从T集中任务管理节点集获取N集中的闲置节点，将数据映射到这些闲置节点，形成数据分块集；

步骤S203.对中间归档数据集和数据分块集构建元数据管理集；

步骤S204.整个流程处理结果形成输出处理结果集。

作为本发明的较佳实施例，本发明所述S集包括地面台站观测数据处理、信息提取、重采样、裁剪、几何校正、拼接、云信息提取、波段提取、云掩膜、AOT反演初值计算、AOT计算及地面实测比较验证步骤，所述步骤通过IDL（交互式数据语言InteractiveDataLanguage）、Matlab、C++进行开发，然后编译封装成为web服务形式。

作为本发明的较佳实施例，本发明所述T集包括基于点积运算、领域运算、全局运算的气溶胶遥感反演处理任务集，遥感源数据的分布式接入、数据分块方法、数据压缩方法、数据索引方法，气溶胶遥感数据元数据管理、注册、服务发现，气溶胶遥感反演任务管理、映射，气溶胶遥感数据传输引擎、节点状态监控、节点任务监控、节点任务配置、节点任务重启、气溶胶遥感反演处理结果聚合。

作为本发明的较佳实施例，本发明所述D集为MOSDISHDF数据集及其分割集，包括分布式环境下气溶胶遥感源数据、MOSDISHDF格式文件及其分割数据集、气溶胶遥感中间处理结果集、气溶胶遥感处理结果集、气溶胶遥感元数据集。

作为本发明的较佳实施例，本发明所述N集为分布式网络节点管理集和数据节点集，包括资源管理节点集、任务调度节点集、任务监控节点集、任务执行节点集、数据节点集。

作为本发明的较佳实施例，本发明所述I集为用户程序根据任务描述语言、执行脚本集、作业管理命令集提交一个任务，任务的信息发送到T转换过程集合中的气溶胶遥感反演任务管理节点集；气溶胶遥感反演任务管理节点集是整个气溶胶遥感反演任务映射的核心，需要D集中的数据集与及其分割集机器定时通信，管理S中的气溶胶遥感程序应该分别跑在N中的哪些对应机器上，需要管理N中所有的任务失败、重启等操作；T中节点任务监控与节点状况监控是整个分布式系统中任务执行节点都有的部分，T中节点任务监控与节点状况监控做的事情是监视任务的执行情况及自己所在机器的资源情况；T中节点任务监控所获得的运行状态会通过心跳发送给T中的气溶胶遥感反演任务管理节点集；气溶胶遥感反演任务管理节点集会收集以上信息以给新提交的任务分配运行在N中的哪些对应机器上；D集合中HDFS数据文件在S到T的有向弧的重复数或权的集合，控制了服务流之间有依赖关系的子任务之间前趋与后续、并行与串行关系在分布式的计算机环境中运行执行序列。

作为本发明的较佳实施例，本发明所述O集是管理S集合中气溶胶遥感反演处理算法在不同计算与数据节点上映射与真实执行的管理过程，T中的气溶胶遥感反演任务管理对用户提交的每个应用进行任务排序，通过从气溶胶遥感数据元数据管理中获得的计算资源闲置信息，调度任务序列中的任务进一步分配给内部的任务，并进行节点任务配置，启动节点任务监控，并在任务运行失败时重新为任务申请资源进行节点任务重启；当节点任务执行结束后，根据从气溶胶遥感数据元数据管理中获得的HDFS数据文件/数据分块索引标志信息，N中数据节点中的子线程计算完自己的数据后，T中的气溶胶遥感反演处理结果聚合主线程对子线程计算结果进行基于N数据节点集的数据重映射与聚合。

作为本发明的较佳实施例，本发明步骤1、2所述的抽象服务流、服务流解析、资源映射过程具体步骤如下：

步骤S301.根据服务流所提供相关参数信息对抽象服务流进行有效性验证；

步骤S302.对抽象流中的任务按照模型库进行配对；

步骤S303.对配对后的任务根据服务流所提供参数产生运行环境配置信息；

步骤S304.解析出配对后的任务依赖关系；

步骤S305.服务流解析成功后进行物理资源映射。

与现有技术相比，本发明的有益效果是：

第一、在具体的软件开发实践中，分布式工作流中的处理流程采用WebService技术进行封装，在流程定义中包含这些WebServices的详细信息，如类型、地址等，通过其构建的通用标准接口，屏蔽网络中异构平台的各种差异；

第二、气溶胶遥感反演的工作流处理任务在分布式网络环境下按照多元组DND数学形式化描述方式进行映射，在流程定义阶段，调用的WebServices可以是各个执行节点单独开发的WebServices，也可以是各个引擎WebServices对外提供的一个函数接口；

第三、数学形式化描述与流程定义形成相互之间有依赖关系的子任务，子任务在分布式网络之间通过服务调用协议SOAP、服务描述协议WSDL和服务发现/集成UDDI，以及服务发现、集成等上层应用；

第四、通过对与分叉、与合并、或分叉、或合并四种构造模块进行流转控制，可实现在分布式的计算机环境中按照并行与串行、前趋与后续关系有序执行，实现气溶胶的快速反演。

附图说明

图1为本发明的气溶胶遥感定量分布式服务流运行状态的系统架构方法流程图；

图2为本发明抽象服务流解析与映射过程图。

具体实施方式

本发明的主旨在于克服现有技术的不足，提供一种面向MOSDIS数据陆地大气气溶胶遥感反演分布式工作流依赖关系的数学形式化刻画方法，描述反演处理过程中的依赖关系、并行与串行关系。通过这种数学形式化刻画方法，可以编写相关调度算法驱动气溶胶反演处理过程在分布式的运算环境下的有序执行。下面结合实施例参照附图进行详细说明，以便对本发明的技术特征及优点进行更深入的诠释。

本发明的方法流程图如图1所示，本发明在数学形式化基础上建立软件体系结构方法，是开发计算机控制系统的一个严格而有效的途径。DND=（S，T，I,O，N，D）多元组采用形式化的方式描述了软件架构中的组件、连接器和数据的配置定义，以及这些元素之间的约束关系及其属性，它采用数学形式化的方式描述系统各个阶段的行为与状态的迁移。DND多元组能对图1所示的气溶胶遥感定量分布式服务流运行状态的系统架构进行形式化刻画。图1所示描述过程如下所示：

第一步，根据DND规则构建的遥感反演服务流描述器对气溶胶定量反演处理步骤进行抽象化描述，形成有依赖关系的抽象服务流；

第二步，服务流解析器对抽象服务流按照任务、配置信息、控制信息几个类别进行解析，分解成为服务匹配器可识别的相关参数；

第三步，服务匹配器根据获取的任务、匹配信息、控制信息，与UDDI服务注册中心、元数据目录、数据分块管理、任务管理器进行通信，调度相关模块运行；

第四步，任务管理器根据获取的服务地址、数据块地址、控制信息、配置信息，驱动执行器按序、并/串行执行Web服务流，并对执行过程监控，对异常报错，并重启执行；

第五步，执行器在执行过程中遇到气溶胶反演处理服务调用点时，在服务注册库中查找到对应的web服务发送给执行器，进行实例执行，并获取处理结果；

第六步，在执行过程中，执行器依次从服务注册库中取出气溶胶反演处理服务来绑定调用；当一个气溶胶反演处理服务调用失败时，将其从服务注册库中删除，并触发异常处理器进行处理；

第七步，重复第三、四、五、六步骤，直到流程执行到没有后继调用点。

本发明从数学形式化上，用6要元描述一个分布在网络上的有限图，DND=（S，T，I,O，N，D）。其中S={s₁,s₂...,s_p}描述气溶胶遥感反演处理算法状态有限集合，p>0，为S集个数；T={t₁,t₂...,t_k}描述转换过程这一有限集合，k>0为转换过程的个数；N={n₁,n₂...,n_q}为网络数据节点IP地址集，q>0为网络中数据节点个数；D={d₁,d₂...,d_u}为数据集及其分割集,u>0，为一个MOSDISHDF格式文件及其分割的数据块数；I:D×S×T->Z是输入函数，它定义了被分布在不同数据节点上的HDFS数据文件在S到T的有向弧的重复数或权的集合，这里Z={0,1，...}为非负整数集；O:T×D×S->N是输出函数，它定义了气溶胶遥感反演处理算法在不同数据节点上进行转换，并将处理结果重映射到不同网络的过程的集合。

优选地，本发明S={s₁,s₂...,s_p}在气溶胶遥感定量分布式服务流运行状态刻画中，主要包括地面台站观测数据处理、信息提取、重采样、裁剪、几何校正、拼接、云信息提取、波段提取、云掩膜、AOT反演初值计算、AOT计算及地面实测比较验证等步骤。这些处理步骤主要使用IDL、Matlab、C++进行开发，然后编译封装成为web服务形式。

优选地，本发明T={t₁,t₂...,t_k}在转换过程集合描述中，主要包括基于点积运算、领域运算、全局运算的气溶胶遥感反演处理任务集，遥感源数据的分布式接入、数据分块方法、数据压缩方法、数据索引方法，气溶胶遥感数据元数据管理、注册、服务发现，气溶胶遥感反演任务管理、映射，气溶胶遥感数据传输引擎、节点状态监控、节点任务监控、节点任务配置、节点任务重启、气溶胶遥感反演处理结果聚合等。

优选地，本发明D={d₁,d₂...,d_u}主要是MOSDISHDF数据集及其分割集，主要是分布式环境下气溶胶遥感源数据、MOSDISHDF格式文件及其分割数据集、气溶胶遥感中间处理结果集、气溶胶遥感处理结果集、气溶胶遥感元数据集。

优选地，本发明N={n₁,n₂...,n_q}为分布式网络节点管理集和数据节点集，包括资源管理节点集、任务调度节点集、任务监控节点集、任务执行节点集、数据节点集。

优选地，本发明I:D×S×T->Z是用户程序根据任务描述语言、执行脚本集、作业管理命令集等提交一个任务，任务的信息会发送到T转换过程集合中的气溶胶遥感反演任务管理节点集，气溶胶遥感反演任务管理节点集是整个气溶胶遥感反演任务映射的核心，它需要D集中的数据集与及其分割集机器定时通信，管理S中的气溶胶遥感程序应该分别跑在N中的哪些机器上，需要管理N中所有的任务失败、重启等操作。T中节点任务监控与节点状况监控是整个分布式系统中任务执行节点都有的部分，它做的事情主要是监视任务的执行情况及自己所在机器的资源情况。T中节点任务监控所获得的运行状态会通过心跳发送给T中的气溶胶遥感反演任务管理节点集。气溶胶遥感反演任务管理节点集会收集这些信息以给新提交的任务分配运行在N中的哪些机器上。D集合中HDFS数据文件在S到T的有向弧的重复数或权的集合，控制了服务流之间有依赖关系的子任务之间前趋与后续、并行与串行关系在分布式的计算机环境中运行执行序列。

优选地，本发明O:T×D×S->N是管理S集合中气溶胶遥感反演处理算法在不同计算与数据节点上映射与真实执行的管理过程，T中的气溶胶遥感反演任务管理对用户提交的每个应用进行任务排序，通过从气溶胶遥感数据元数据管理中获得的计算资源闲置信息，调度任务序列中的任务进一步分配给内部的任务，并进行节点任务配置，启动节点任务监控，并在任务运行失败时重新为任务申请资源进行节点任务重启。当节点任务执行结束后，根据从气溶胶遥感数据元数据管理中获得的HDFS数据文件/数据分块索引标志信息，N中数据节点中的子线程计算完自己的数据后，T中的气溶胶遥感反演处理结果聚合主线程对子线程计算结果进行基于N数据节点集的数据重映射与聚合。

另外，本发明S={s₁,s₂...,s_p}在气溶胶遥感定量分布式服务流运行状态刻画中，主要包括如下处理步骤：

步骤S101、对经纬度、太阳天顶角、传感器天顶角等波段进行MODIS数据提取；

步骤S102、对原始MODIS1KM分辨率数据按照10KM、1KM、500M，进行经纬度和天顶角数据重采样；

步骤S103、根据研究区域，根据经纬度对天顶角进行MODIS影像裁剪；

步骤S104、根据太阳天顶角、传感器天顶角进行MODIS影像拼接；

步骤S105、根据经纬度，对太阳天顶角、传感器天顶角进行几何校正；

步骤S106、从MODIS原始文件提取云掩膜信息；

步骤S107、从原始MODIS数据中提取Band1,2,3,4,7的表现反射率；

步骤S108、根据地面观测点经纬度和卫星过境时间，提取与卫星同步的地面台站观测数据；

步骤S109、计算AOT迭代反演的初始值；

步骤S110、计算AOT；

步骤S111、与地面实测比较，验证反演结果。

为了达到较好的反演效果，本发明所述的D={d₁,d₂...,d_u}主要有如下数据和分割集:

步骤S201、将MOD02、MOD03、MOD35、MOD04、AERNET等待处理数据源按照时间单位天并入同一目录，然后按照月、年形成更高一层数据目录，以此形成输入数据集；

步骤S202、对与合并、或合并后的中间处理结果hdr、img进行归档处理，并从T中任务管理节点集获取归档节点，形成中间归档数据集；

步骤S203、对与分叉、或分叉后的中间处理输入数据hdr、img进行数据分块，并从T中任务管理节点集获取N中的闲置节点，将数据映射到这些闲置节点，形成数据分块集；

步骤S204、对中间归档数据集和数据分块集构建元数据管理集；

步骤S205、整个流程处理结果形成输出处理结果集。

本发明的抽象服务流解析与映射过程图如图2所示，描述了抽象服务流、服务流解析、资源映射过程，具体如下：

步骤S301、根据服务流所提供相关参数信息对抽象服务流进行有效性验证；

步骤S302、对抽象流中的任务按照模型库进行配对；

步骤S303、对配对后的任务根据服务流所提供参数产生运行环境配置信息；

步骤S304、解析出配对后的任务依赖关系；

步骤S305、服务流解析成功后进行物理资源映射。

与现有技术相比，本发明通过构建一个多元组，用6要元从数学形式化上描述一个分布在网络上的有限图，以此对气溶胶遥感反演分布式工作流依赖关系进行数学形式化刻画，包括描述反演处理过程中的依赖关系、并行与串行关系。通过对这种抽象刻画方法的解译，获取相关遥感处理任务、配置、控制信息后，将抽象的服务流进行资源映射，获得WebService封装后的遥感反演处理及数据处理相关服务，驱动气溶胶反演处理过程在分布式的运算环境下的执行。在流程定义阶段，调用的WebServices可以是各个执行节点单独开发的WebServices，也可以是各个引擎WebServices对外提供的一个函数接口。通过对与分叉、与合并、或分叉、或合并四种构造模块进行流转控制，可实现在分布式的计算机环境中按照并行与串行、前趋与后续关系有序执行，实现气溶胶的快速反演。

通过以上实施例中的技术方案对本发明进行清楚、完整的描述，显然所描述的实施例为本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。