基于图像无锚框检测的中尺度对流系统识别与追踪方法

摘要

本发明公开了基于图像无锚框检测的中尺度对流系统(Mesoscale ConvectiveSystem，MCS)识别与追踪方法，包括如下步骤：步骤1，原始静止卫星红外亮温数据预处理，对处理后得到的红外云图进行中尺度对流系统标注，然后进行训练集、验证集以及测试集的随机划分；步骤2，构建基于无锚框的实例分割网络，该网络用于提取图像特征、检测中尺度对流系统以及分割出具体实例；步骤3，训练集图像增强，并使用迁移学习监督训练实例分割卷积神经网络，自动学习网络参数；步骤4，利用训练后的模型来对相邻时刻的静止卫星红外云图进行中尺度对流系统检测与分割；步骤5，根据相关目标匹配原则来实现中尺度对流系统的追踪。

说明书

技术领域

本发明属于深度学习和计算机视觉技术领域，尤其涉及基于图像无锚框检测的中尺度对流系统识别与追踪方法。

背景技术

近年来气候全球变暖导致各地强对流灾害性天气愈发频繁和活跃。中尺度对流系统(Mesoscale Convective System，MCS)是具有强烈对流的天气系统，具有生命周期短并且空间尺度小的特点，其常伴有暴雨、台风、冰雹等灾难性天气，危及人民生命安全以及对国家经济造成巨大损失。尤其在民航运作上，MCS的强对流运动会造成飞机剧烈的颠簸，甚至会对机身造成严重的损害，导致空难事故的发生。因此如何快速准确地识别出MCS的实例并分析其演变和移动的行径至关重要，是当今气象学科的一个重要研究课题。过去对MCS识别追踪主要是根据常规观测资料，然而这些资料覆盖区域小且受多种因素影响误差较大，因此难以有效地监测和预报MCS的位置和发展趋势。随着卫星遥感和雷达探测能力的提升，尤其是高时空分辨率的静止卫星凭借着可靠性强、观测连续、精度高等特点被广泛应用于MCS监测应用中。

目前，大多数MCS识别方法都是基于传统图像特征，即根据相关判定标准来进行识别，这些方法过于依赖于特征阈值的选取并且整个过程较为繁琐计算量大。随着深度学习，尤其是深度卷积神经网络的迅速发展，目标检测、实例分割、目标跟踪等复杂计算机视觉任务取得了突破性进展。因此，如何利用深度卷积神经网络快速简单有效地分割出MCS实例，对后续MCS追踪以及相关气象分析具有重大意义。

发明内容

发明目的：本发明所要解决的技术问题是针对气象领域的中尺度对流系统的传统识别方法判定标准各式各样，提出了基于图像无锚框检测的中尺度对流系统识别与追踪方法。考虑到MCS形态尺度变化较大，而目前主流的基于启发式预设定锚框的实例分割方法在该应用上效果不理想，因此通过一种逐像素点全卷积的方式直接对Feature Map中的每个位置预测其所属的类别、到对应边框的四条边距离以及生产掩码Mask，并在此基础上实现了对MCS多时次连续有效地追踪。

本发明方法具体包含如下步骤：

步骤1，根据卫星数据的相关说明对原始红外亮温数据文件进行预处理：包括原始卫星数据资料裁剪、图像多边形实例标记、以及训练集、验证集以及测试集的随机划分；

步骤2，构建基于无锚框的中尺度对流系统实例分割卷积神经网络：分为用于特征提取的主干网络、融合多尺度特征的特征金字塔网络、用于分类、距离边框回归、预测中心度(center-ness)的预测边框网络头部、生成掩码Mask网络头部以及预测MaskIoU的网络头部；

步骤3，对训练集进行多尺度图像增强，使用迁移学习监督训练步骤2构建好的中尺度对流系统实例分割卷积神经网络来自动学习网络参数：采用小批量随机梯度下降法进行训练，并设置预测边框、生成掩码Mask以及预测MaskIoU这三个网络头部的损失函数；

步骤4，使用训练完成后的网络来对相邻时刻的静止卫星红外云图进行中尺度对流系统实例分割，得到连续时刻的中尺度对流系统相关记录；

步骤5，在步骤4的基础上根据相关目标匹配原则来实现中尺度对流系统的追踪，同时考虑了普遍发生的分裂和合并的情况；

本发明步骤1包括：

本发明中采用的数据集为美国国家海洋和大气管理局(National Oceanic andAtmospheric Administration，NOAA)提供的从地球静止卫星GMS-5、GOES-8、Goes-10、Meteosat-7以及Meteosat-5上的11微米红外通道获得的用于监测全球降水的全分辨率(4km)亮温数据(60N-60S)。为了减少相邻地球静止卫星之间的不连续性，获得到的数据已进行了顶角相关性校正，最终以矩形网格的形式存储数据。每个红外亮温数据文件名格式为merg_yyyymmddhh_4km-pixel，其中yyyy表示年份(如2020)，mm表示月份(范围为01-12)，dd表示日期(范围为01-31)，hh表示小时(范围为00-23)。每个文件包含2个记录分别为对应小时0分以及30分的亮温数据，每个记录大小为9896×3298(9896维度方向的跨度为0.036378335以及3298维度方向的跨度为0.036383683)。同时为了用一个字节的大小(8位其范围大小为0-255)来存储数据，获得到的数据是在真实监测亮温值的基础上减去75，获得的数据中255(对应为真实亮温值330)为缺测值。

步骤1-1，根据卫星数据的相关说明读取每个原始静止卫星红外亮温数据文件，所述文件为2×3298×9896格式的数组，得到相应时刻0分和30分时的两个灰度云图；

步骤1-2，由于遥感卫星图像尺寸为3298×9896，而图像过大不适用于后续实例分割网络的输入，因此对步骤1-1得到的灰度云图进行裁剪。根据我国江淮地区的纬度为27N至40N以及经度为110E至125E，结合上述亮温数据的相关说明，因此得到我国江淮地区的尺寸为：

将上述结果再放大一些，将每个灰度云图都裁剪为两个以上(一般为240个)尺寸大小为420×360的灰度红外云子图；

步骤1-3，为每个灰度红外云子图给出中尺度对流系统的多边形实例级标注，过滤掉那些不存在中尺度对流系统的子图，得到每个灰度红外云子图对应的json文件，整个标注只有一个类别。并且以6:2:2的比例将灰度红外云子图随机划分为9407张训练集图像、3135张验证集图像以及3136张测试集图像，从而构成训练集、验证集和测试集。

步骤2包括：

步骤2-1，构建用于特征提取的骨干网络：本发明实例分割网络中的骨干网络采用的是一共99层的卷积神经网络VoVNetV2-99(参考文献：An Energy and GPU-ComputationEfficient Backbone Network for Real-Time Object Detection.)。卷积神经网络VoVNetV2-99中的卷积层都是Conv-BN-ReLU的形式，即依次是卷积层与批量归一化层BN以及线性整流函数ReLU的组合。同时卷积神经网络VoVNetV2-99中采用了类似残差网络ResNet中的跨层连接来实现恒等映射，包含了恒等映射的残差块定义为：

Y＝F(X,{W

其中X和Y分别表示每个结构块输入特征图和输出特征图，F(X,{W

A

其中X

卷积神经网络VoVNetV2-99的具体搭建步骤包括：

步骤2-1-1，构建网络茎干Stem阶段1：该阶段包含三个卷积层：首先是卷积核大小为3×3、步长为2、填充padding为1、输出通道数为64(后续若未作额外说明，卷积核大小为3×3卷积层默认其步长为1、padding为1)的卷积层用于对输入图像进行降采样，再连接一个卷积核大小都为3×3、输出通道数为64的卷积层以及一个卷积核大小为3×3、步长为2、输出通道数为128的卷积层。输入图像经过该阶段后生成第一尺度特征图C1，特征图C1相较于输入图像尺度缩放比例Output Stride为4；

步骤2-1-2，构建网络单次聚合(One-Shot Aggregation,OSA)模块阶段2：本阶段包含一个残差块，所述残差块包含5个卷积核大小为3×3、输出通道为128的卷积层，输入图像经过卷积操作后5个卷积层各自都得到通道数为128的多样化特征图，并在最后一个卷积层上将该层的特征图上与前4层特征图以及输入的第一尺度特征图C1进行级联操作得到包含128*6＝768个通道数的特征图，然后再通过卷积核大小为1×1、步长为1、padding为0、输出通道数为256的卷积层来进行降维得到多样化的特征图X

步骤2-1-3，构建网络单次聚合模块阶段3：该阶段与OSA模块阶段2类似，不同的是该阶段首先使用步长为2、padding为0的3×3的最大池化层来进行2倍降采样，且在残差块中采用了3×3可调节的变形卷积(参考文献：Deformable ConvNets v2:More Deformable,Better Results.)而非常规卷积，可调节的变形卷积定义为：

其中K为卷积核采样位置总数(例如卷积核大小为3×3则K为9)，w

OSA模块阶段3包含3个残差块，每个残差块包含5个卷积核大小为3×3、输出通道为160的可调节的变形卷积层，与步骤2-1-2中网络单次聚合模块阶段2一样也是在最后一个卷积层上将该层特征图与前4层特征图以及输入的第二尺度特征图C2进行级联操作得到包含256+160*5＝1056个通道数的多样化特征图，此为第一个残差块的多样化特征图，同理，则第二个以及第三个残差块级联操作后得到的多样化特征图通道数为512+160*5＝1312，且用于特征图级联后降维的步长为1、padding为0的1×1的常规卷积层的输出通道数为512，同样也包含通道注意力机制，经过OSA模块阶段3操作后最终获得通道数为512的第三尺度特征图C3，特征图C3相较于输入图像尺度缩放比例Output Stride为8；

步骤2-1-4，构建网络单次聚合模块阶段4：该阶段与上述OSA模块阶段3类似，不同的是该阶段包含9个残差块，每个残差块包含5个卷积核大小为3×3、输出通道为192的可调节的变形卷积层，与网络单次聚合模块阶段2和网络单次聚合模块阶段3一样也是在最后一个卷积层上将该层特征图与前4层特征图以及输入的第二尺度特征图C3进行级联操作得到包含512+192*5＝1472个通道数的多样化特征图，此为第一个残差块的多样化特征图，同理，第二个至第九个残差块级联操作后得到的多样化特征图通道数为768+192*5＝1728)，且用于特征图级联后降维的步长为1、padding为0的1×1的常规卷积层输出通道数为768，同样也包含通道注意力机制。经过网络单次聚合模块阶段4后最终得到第四尺度特征图C4，特征图C4相较于输入图像尺度缩放比例Output Stride为16；

步骤2-1-5，构建骨干网络最后一个结构，网络单次聚合模块阶段5：该阶段结构与阶段4类似，但该阶段仅包含3个残差块，每个残差块包含5个卷积核大小为3×3、输出通道为224的可调节的变形卷积层，与网络单次聚合模块阶段2和网络单次聚合模块阶段3一样也是在最后一个卷积层上将该层特征图与前4层特征图以及输入的第二尺度特征图C3进行级联操作得到包含768+224*5＝1888个通道数的多样化特征图，此为第一个残差块的多样化特征图，同理第二个以及第三个残差块级联操作后得到的多样化特征图通道数为1024+224*5＝2144，且用于特征图级联后降维的步长为1、padding为0的1×1的常规卷积层输出通道数为1024，同样也包含通道注意力机制。经过该阶段后最终得到特征图C5，特征图C5相较于输入图像尺度缩放比例Output Stride为32；

步骤2-2，结合特征金字塔网络FPN(Feature Pyramid Network，FPN)(参考文献：Feature pyramid networks for object detection.)来融合多尺度特征。特征金字塔网络FPN对步骤2-1得到的不同尺度特征{C3,C4,C5}进行自顶向下并结合横向连接来融合特征得到{M3,M4,M5}。其中M5是由特征图C5通过1×1卷积层来获得，M4则是由M5进行最近邻2倍上采样后与特征图C4经过1×1卷积层后得到的特征图进行元素级相加所得，同理M3则是由M4进行最近邻2倍上采样后与特征图C3经过1×1卷积后得到的特征图进行元素级相加所得。

最后对{M3,M4,M5}中的每层都通过卷积核大小为3×3、输出通道数为256的卷积来减轻最近邻近插值带来的混叠影响，得到特征层{P3,P4,P5}。

在实例分割网络中额外添加P6特征层与P7特征层，P6特征层和P7特征层分别是由P5与P6通过1个步长为2的3×3卷积层来进行2倍降采样所得，最终得到特征层{P3,P4,P5,P6,P7}；

步骤2-3，构建实例分割边框预测头部，该部分共包含2个分支，分别为一个分类分支，以及一个中心度(center-ness)(参考文献：FCOS:Fully Convolutional One-StageObject Detection.)与距离边框回归并行的多任务分支，具体包括：

步骤2-3-1，构建分类分支：在特征金字塔网络FPN中的每个特征层(即P3-P7)后都依次连接输入通道数与输出通道数都为256、卷积核大小都为3×3的三个常规卷积层以及一个可调节的变形卷积层，这四个卷积层不再采用批量归一化(Batch Normalization，BN)而是使用组归一化(Group Normalization，GN)来避开了批大小对网络模型的影响。由于检测的只有中尺度对流系统这一个类别，因此在分类分支的最后再添加一个预测分类的卷积层，其输入通道数为256,、输出通道数为1、卷积核大小为3×3；

步骤2-3-2，构建中心度与距离边框回归并行的多任务分支：该部分也是在各个尺度的特征金字塔网络FPN特征层后依次连接与分类分支相同结构的三个常规卷积层以及一个可调节的变形卷积层。然而这四层卷积层之后连接的是一个包含两个分支并行的卷积层：用于边框回归的输出通道数为4的3×3卷积层，该分支输出的四个维度值分别表示当前位置到所属边框四条边的距离；用于预测中心度的输出通道数为1的3×3卷积层，该分支输出为一个维度表示中心度值；

设特征图F上某一个样本点(x,y)距离该点所属目标边框的四条边的距离为d＝(l,t,r,b)，其中l、t、r、b分别表示样本点(x,y)到矩形边框左边、上边、右边以及下边的距离，则中心度centerness定义为：

其中min()和max()分别为取最小和取最大函数。在使用该实例分割卷积神经网络进行检测时，预测的中心度值会乘以分类分数来得到最终的置信度。中心度分支主要抑制离目标物中心点较远的低质量边框，从中心度定义中可以发现若样本点(x,y)距离目标边框的中心较近则中心度的值越接近1，否则中心度的值越接近0，因此距离较远的点的分类分再乘以一个较小的中心度值将会得到更低的置信度，使得在非极大抑制(Non-MaximumSuppression，NMS)阶段这些距离较远的点所回归出的低质量的边框更容易被过滤。

步骤2-4，类似于Anchor-based检测器如Mask R-CNN中的区域生成网络RPN，预测边框头部预测了许多边框区域，这些区域经过IoU阈值为0.6的非极大抑制进行部分剔除后得到100个感兴趣区域RoI(Region of Interest)。借鉴于Mask R-CNN的实现原理，构建基于无锚框的实例分割网络RoI头部，具体包括：

步骤2-4-1，构建感兴趣区域对齐RoI Align(参考文献：Mask R-CNN.)层：RoIAlign层首先根据感兴趣区域RoI的尺寸大小将其映射到相应的特征金字塔网络FPN特征层P

k＝Ceil(k

其中A

RoI Align层将所映射的特征图上对应位置区域划分为14×14＝196个同等大小的小区域，对这些区域进行自适应地采样，每一份取其中心点位置，再使用双线性插值法进行计算，最终得到14×14固定大小的特征图；

步骤2-4-2，构建包含空间注意力机制的Mask头部：Mask头部包含四个连续的卷积核大小为3×3、输入输出通道数都为256的卷积层。为了让该分支更加关注于有意义的像素点，在第四个卷积层后引入空间注意力模块，其实现机制为：

其中X

然后所得的X

步骤2-4-3，构建MaskIoU头部，使用掩码分数Mask Scoring(参考文献：MaskScoring R-CNN.)来重新表示Mask质量：在步骤2-4-2的基础上将Mask预测层的输出特征图采用2×2最大池化层进行2倍降采样后与RoI Align层输出的大小为14×14、通道数为256的RoI特征图进行级联得到大小为28×28、通道数为257的特征图。

MaskIoU头部包含四个连续的卷积核大小为为3×3、输出通道数为256的卷积层，其中最后一个卷积层的步长为2。随后还连接2个输出通道数为1024以及1个输出通道数为1的全连接层；

本发明步骤3包括：

步骤3-1，由于数据集红外云图是单通道的灰度图像，为了后续进行迁移学习将训练集中的灰度图像转换成RGB(即红绿蓝)三个通道图像，RGB三个通道的值相同，都为灰度图像的灰度值，对转换后的训练集中的图像以及对应的实例标注进行数据增强：首先对图像按照多个比例尺度进行缩放，其中长边为1333，短边为{640,672,704,736,768,800}中的随机一个，并保持图像原始比例，同时也采用随机水平翻转进行数据增强。

对像素值进行中心化处理，由于训练采用了ImageNet数据集上的预训练模型，因而需要将图像按ImageNet数据集中的均值进行归一化。归一化操作按通道进行，R、G、B通道的均值分别为123.675、116.28、103.53，标准差分别为58.395、57.12、57.375，将RGB三个通道均值标量组合表示为向量

然后将图像尺度填充成32的倍数避免后续卷积操作时造成特征丢失；

相应地，输入图像经过缩放以及水平翻转数据增强后相应的实例标注也要进行相同的变换得到正确的标注；

步骤3-2，设置实例分割网络中预测边框头部的分类损失函数：分类任务使用的是焦点损失函数Focal Loss来改善一阶段检测器中类别不平衡问题。由于数据集中只包含一类标记，因此只需训练一个二分类器。考虑到该网络将每个位置视为训练样本而非锚框，设特征图F

其中

将位置(x

其中s

其中α为权重因数，γ≥0为可调的聚焦参数，一般α和γ分别被设置为0.25和2.0。对于特征图F

步骤3-3，设置中心度损失函数：给定特征图F

显然

其中

步骤3-4，设置距离回归损失函数：回归任务采用的是GIoU损失函数，设距离

其中C为

特征图F

其中

步骤3-5，设置Mask损失函数：在经过Mask Head之前预测边框头部预测得到多个提议边框proposals，根据0.05的分数阈值以及IoU阈值为0.6的非极大抑制得到每个图像最大数目为100的RoI。为了提高收敛速率以及提高检测性能，将GT边框也加入到RoI中用于网络训练。设添加了GT边框的RoI共有N个，GT边框共有K个，计算RoI与GT两两之间的IoU，并根据IoU阈值0.5将RoI划分为正负样本，其中正样本标签为1负样本标签为0，得到第i∈[0,N)个RoI与其最匹配的第j∈[0,K)个GT边框相关信息相对应的字典D，最后以正样本占全部样本1/4的比例进行采样得到用于Mask Head的训练样本X。

由于Mask Loss只定义在正样本上，因此还需要对训练样本X进行前景筛选。设预测边框头部共得到M个正样本RoI，第i个RoI

其中

步骤3-6，设置MaskIoU损失函数：设级联操作后的第i个特征图经过预测掩码交并比头部MaskIoU Head得到的预测值为pred_maskiou

步骤3-7，设置多任务损失函数：将所述分类损失函数、中心度损失函数、距离回归损失函数、Mask损失函数以及MaskIoU损失函数相加得到小批量总的多任务损失函数L：

其中N

步骤3-8，设置网络学习相关参数并进行训练。

步骤3-8包括：使用VovNetV2-99在ImageNet上的预训练权重来进行迁移学习。在预边框测结果上选择置信度最高的1000个proposals，经过非极大抑制保留100个proposals，其中非极大抑制NMS中IoU阈值为0.6。在Mask Head中将与真实标记框的IoU值大于0.5的proposals看作正样本，否则为负样本，且用于训练的正样本数占全部训练样本的1/4。同时，网络训练采用小批量的随机梯度下降对网络模型进行优化，批大小为2，学习率为0.0025，并在最初1000次迭代中采用Warmup策略，同时使用系数为0.9的动量Momentum。在正则化方面，采用了10

本发明步骤4包括：

步骤4-1，对需要实例分割的图像进行与步骤3-1中相同的处理，不同的是推断时仅对图像进行单尺度缩放，即长边为1333，短边为800；

步骤4-2，训练好的网络对步骤1-3中得到的测试图像进行前向计算，在预测边框头部中剔除置信度小于0.05的提议边框proposals，筛选出1000个置信度最高的提议边框proposals，通过非极大抑制NMS得到最多50个RoI用于Mask分支预测，最终根据分类分支预测的类别k来得到第k个Mask(但本文使用的数据仅包含一种类别)，该28×28大小的Mask将会被缩放到对应RoI尺度大小，并通过阈值为0.5来进行二值化生成最终的掩码Mask；

步骤4-3，Top-50个proposals同样也通过MaskIoU头部来预测掩码交并比MaskIoU，该值将乘以分类置信度得到Mask置信度；

步骤4-4，根据步骤4-2生成的Mask以及对应步骤4-3得到的Mask置信度，采用NMS，其中IoU阈值为0.5，筛选出最终的预测Mask；

步骤4-5，对相邻时刻的我国江淮地区的静止卫星红外云图进行中尺度对流系统实例分割，得到连续时刻的中尺度对流系统实例。

本发明步骤5包括：

步骤5-1，求得每个中尺度对流系统实例的质心坐标

area＝N

其中N为中尺度对流系统实例包含的总的像素点数，x

步骤5-2，按照时序求得相邻两时刻中尺度对流系统的持续时间、质心点位置变化、面积变化以及强度变化；如果相邻时刻某两个中尺度对流系统满足质心点位置变化≤50m/s、面积变化≤5km

步骤5-3，考虑中尺度对流系统普遍存在分裂和合并现象需进行相应处理。如果某一时刻存在n个中尺度对流系统MCS记作X

如果前一个时刻有两个以上MCS记作P

有益效果：MCS识别与追踪是气象灾害预报的核心关注点，过去对MCS的识别方法通常都是基于传统图像特征，这类方法较依赖于判定阈值的选取，且整个过程涉及较多的图像处理技术比较繁琐。而本发明采用了基于深度卷积神经网络的方法来对MCS进行识别，通过无锚框全卷积的方式避免了基于启发式预先设定锚框的检测方法存在对锚框尺度大小、横纵比、数量这些参数敏感等问题。同时本发明还结合了可变形卷积更进一步地提高了对MCS几何形变的建模能力，以及注意力机制来更加关注于重要的通道或者位置信息。本发明相比于其他深度学习分割方法在MCS识别上不仅取得了更好的分割性能，而且有着更少的网络参数以及更快的训练推断速度。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1为本发明的中尺度对流系统识别与追踪过程的流程图；

图2为本发明实施例中的某个原始静止卫星红外亮温灰度图像；

图3为本发明的基于无锚框的实例分割网络的结构；

图4为本发明实例分割网络的骨干网络的残差块结构；

图5为本发明的中尺度对流系统实例分割效果图；

图6为本发明的中尺度对流系统追踪的效果图；

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明方法所构建的中尺度对流系统识别与追踪的工作流程大致可分为四个阶段：第一阶段，原始卫星资料数据预处理与标注；第二阶段，实例分割网络模型的构建；第三阶段，网络模型训练与推断；第四阶段，对检测得到的连续时刻中尺度对流系统实例进行追踪。本发明实施例中的中尺度对流系统识别与追踪的方法具体构建步骤如下：

步骤1，由于中尺度对流系统大多发生在夏季，因此对公开的美国国家海洋和大气管理局提供的2000年至2017年6月至9月的静止卫星红外亮温资料数据进行部分随机筛选作为本发明实施例操作数据。此外，还需要对筛选后的原始卫星资料数据进行预处理：

(1)根据该卫星数据的相关说明读取每个原始静止卫星红外亮温数据文件为2×3298×9896格式的数组得到相应时刻0分以及30分如图2所示的灰度云图，图中像素值为255的空白部分被视为缺测值；

(2)由于遥感卫星图像尺寸为3298×9896，而图像过大不适用于后续实例分割网络的输入，因此对步骤1-1得到的灰度云图进行裁剪。根据我国江淮地区的纬度为27N至40N以及经度为110E至125E，结合上述亮温数据的相关说明，因此得到我国江淮地区的尺寸为：

将上述结果再放大一些，将整个灰度云图裁剪为多个420×360的子图；

(3)为每个灰度红外云子图给出中尺度对流系统的多边形实例级标注，过滤掉那些不存在中尺度对流系统的子图，得到每个图像对应的json文件，整个标注只有一个类别。并且以6:2:2的比例将上述子图随机划分为9407张训练集图像、3135张验证集图像以及3136张测试集图像；

步骤2，构建一个基于无锚框的中尺度对流系统实例分割卷积神经网络，该实例分割网络结构如图3所示，图3中共包含：用于提取图像深层抽象特征的骨干网络，其有C1、C2、C3、C4、C5共五个阶段特征图；融合多尺度特征的特征金字塔网络，其同样也有五个不同尺度的特征层P3、P4、P5、P6、P7；用于预测边框的网络头部，其包含两个大分支：分类Classification大分支和中心度Center-Ness分支与距离边框回归Regression分支并行的大分支，该头部被不同尺度的特征金字塔层所共享share；预测掩码Mask的网络头部，其包含一个空间注意力机制SAM，并且在进入该头部之前需要进行感兴趣区域对齐RoIAlign；用于预测MaskIoU的网络头部，输入特征图是由掩码Mask头部输出特征图进行最大池化Maxpooling降采样后与RoIAlign得到的特征图进行级联操作Concat所得的；

步骤2-1，构建用于特征提取的骨干网络。本发明实例分割网络中的骨干网络采用的是一共99层的卷积神经网络VoVNetV2-99。骨干网络中的卷积层都是Conv-BN-ReLU的形式，即依次是卷积层与批量归一化层BN以及线性整流函数ReLU的组合。同时该网络结构块中采用了类似残差网络ResNet中的跨层连接来实现恒等映射，包含了恒等映射的残差块定义为：

Y＝F(X,{W

其中X和Y分别表示每个结构块输入和输出特征图，F(X,{W

A

其中X

a.茎干Stem阶段1：该阶段包含三个卷积层,：首先是卷积核大小为3×3、步长为2、padding为1、输出通道数为64(后续若未作额外说明，卷积核大小为3×3卷积层默认其步长为1、填充padding为1)的卷积层用于对输入图像进行降采样，再连接一个卷积核大小都为3×3、输出通道数为64的卷积层以及一个卷积核大小为3×3、步长为2、输出通道数为128的卷积层。输入图像经过该阶段后生成第一尺度特征图C1，特征图C1相较于输入图像尺度缩放比例Output Stride为4；

b.单次聚合OSA(One-Shot Aggregation)模块阶段2：本阶段包含一个残差块，该残差块包含5个卷积核大小为3×3、输出通道为128的卷积层，输入图像经过卷积操作后这五个卷积层各自都得到通道数为128的多样化特征图，并在最后一个卷积层上将该层的特征图上与前4层特征图以及输入的第一尺度特征图C1进行级联操作得到包含128*6＝768个通道数的特征图。然后再通过卷积核大小为1×1、步长为1、padding为0、输出通道数为256的卷积层来进行降维得到多样化的特征图X

c.OSA模块阶段3：该阶段与OSA模块阶段2类似，不同的是该阶段首先使用步长为2、padding为0的3×3的最大池化层来进行2倍降采样，且在残差块中采用了3×3可调节的变形卷积而非常规卷积，可调节的变形卷积可以定义为：

其中K为卷积核采样位置总数(例如卷积核大小为3×3则K为9)，w

OSA模块阶段3包含3个残差块，每个残差块包含5个卷积核大小为3×3、输出通道为160的可调节的变形卷积层，与步骤2-1-2中OSA模块阶段2一样也是在最后一个卷积层上将该层特征图与前4层特征图以及输入的第二尺度特征图C2进行级联操作得到包含256+160*5＝1056个通道数的多样化特征图(此为第一个残差块的多样化特征图，同理第二个以及第三个残差块级联操作后得到的多样化特征图通道数为512+160*5＝1312)，且用于特征图级联后降维的步长为1、padding为0的1×1的常规卷积层的输出通道数为512，同样也包含通道注意力机制。经过该阶段操作后最终获得第三尺度特征图C3，特征图C3相较于输入图像尺度缩放比例Output Stride为8；

d.OSA模块阶段4：该阶段与上述OSA模块阶段3类似，不同的是该阶段包含9个残差块，每个残差块包含5个卷积核大小为3×3、输出通道为192的可调节的变形卷积层，与OSA模块阶段2和阶段3一样也是在最后一个卷积层上将该层特征图与前4层特征图以及输入的第二尺度特征图C3进行级联操作得到包含512+192*5＝1472个通道数的多样化特征图(此为第一个残差块的多样化特征图，同理第二个至第九个残差块级联操作后得到的多样化特征图通道数为768+192*5＝1728)，且用于特征图级联后降维的步长为1、padding为0的1×1的常规卷积层输出通道数为768，同样也包含通道注意力机制。经过这些卷积层后最终得到第四尺度特征图C4，特征图C4相较于输入图像尺度缩放比例Output Stride为16；

e.OSA模块阶段5：该阶段结构与阶段4类似，但本阶段仅包含3个残差块，每个残差块包含5个卷积核大小为3×3、输出通道为224的可调节的变形卷积层，与OSA模块阶段2和阶段3一样也是在最后一个卷积层上将该层特征图与前4层特征图以及输入的第二尺度特征图C3进行级联操作得到包含768+224*5＝1888个通道数的多样化特征图(此为第一个残差块的多样化特征图，同理第二个以及第三个残差块级联操作后得到的多样化特征图通道数为1024+224*5＝2144)，且用于特征图级联后降维的步长为1、padding为0的1×1的常规卷积层输出通道数为1024，同样也包含通道注意力机制。经过该阶段后最终得到特征图C5，特征图C5相较于输入图像尺度缩放比例Output Stride为32；

步骤2-2，结合特征金字塔网络(Feature Pyramid Network，FPN)来融合多尺度特征。FPN对步骤2-1中不同尺度特征{C3,C4,C5}进行自顶向下并结合横向连接来融合特征得到{M3,M4,M5}。其中M5是由特征图C5通过1×1卷积层来获得，M4则是由M5进行最近邻2倍上采样后与特征图C4经过1×1卷积层后得到的特征图进行元素级相加所得，同理M3则是由M4进行最近邻2倍上采样后与特征图C3经过1×1卷积后得到的特征图进行元素级相加所得。最后对{M3,M4,M5}中的每层都通过卷积核大小为3×3、输出通道数为256的卷积来减轻最近邻近插值带来的混叠影响，得到特征层{P3,P4,P5}。在本实例分割网络中还额外添加了P6与P7特征层,其分别是由P5与P6通过1个步长为2的3×3卷积层来进行2倍降采样所得，最终得到特征层{P3,P4,P5,P6,P7}；

步骤2-3，构建实例分割边框预测头部，该部分共包含2个分支分别为一个分类分支以及一个中心度(center-ness)与距离边框回归并行的多任务分支：

步骤2-3-1，构建分类分支：在FPN中的每个特征层(即P3-P7)后都依次连接输入通道数与输出通道数都为256、卷积核大小都为3×3的三个常规卷积层以及一个可调节的变形卷积层，这四个卷积层不再采用批量归一化(Batch Normalization，BN)而是使用组归一化(Group Normalization，GN)来避开了批大小对网络模型的影响。由于检测的只有中尺度对流系统这一个类别，因此在该分支的最后再添加一个预测分类的卷积层，其输入通道数为256,、输出通道数为1、卷积核大小为3×3；

步骤2-3-2，构建中心度与距离边框回归并行的多任务分支：该部分也是在各个尺度的FPN特征层后依次连接与分类分支相同结构的三个常规卷积层以及一个可调节的变形卷积层。然而这四层卷积层之后连接的是一个包含两个分支并行的卷积层：用于边框回归的输出通道数为4的3×3卷积层，该分支输出的四个维度值分别表示当前位置到所属边框四条边的距离；用于预测中心度的输出通道数为1的3×3卷积层，该分支输出为一个维度表示中心度值；

设特征图F上某个样本点(x,y)距离该点所属目标边框的四条边的距离为d＝(l,t,r,b)，其中l、t、r、b分别表示到矩形边框左边、上边、右边以及下边的距离，则中心度定义为：

其中min()和max()分别为取最小和取最大函数。在使用该实例分割卷积神经网络进行检测时，预测的中心度值会乘以分类分数来得到最终的置信度。中心度分支主要抑制离目标物中心点较远的低质量边框，从中心度定义中可以发现若样本点(x,y)距离目标边框的中心较近则中心度的值越接近1，否则中心度的值越接近0，因此距离较远的点的分类分再乘以一个较小的中心度值将会得到更低的置信度，使得在非极大抑制(Non-MaximumSuppression，NMS)阶段这些距离较远的点所回归出的低质量的边框更容易被过滤。

步骤2-4，类似于Anchor-based检测器如Mask R-CNN中的区域生成网络RPN，预测边框头部预测了许多边框区域，这些区域经过IoU阈值为0.6的非极大抑制进行部分剔除后得到100个RoI(Region of Interest)。借鉴于Mask R-CNN的实现原理，构建基于无锚框的实例分割网络RoI头部，具体包含：

步骤2-4-1，构建感兴趣区域对齐RoI Align层：该层首先根据感兴趣区域RoI的尺寸大小将其映射到相应的FPN特征层P

k＝Ceil(k

其中A

然后该层将所映射的特征图上对应位置区域划分为14×14＝196个同等大小的小区域，对这些区域进行自适应地采样，每一份取其中心点位置，再使用双线性插值法进行计算，最终得到14×14固定大小的特征图；

步骤2-4-2，构建包含了空间注意力机制的Mask头部：该部分包含四个连续的卷积核大小为3×3、输入输出通道数都为256的卷积层。为了让该分支更加关注于有意义的像素点，在上述第四个卷积层后又引入了空间注意力模块，其实现机制为：

其中X

然后所得的X

步骤2-4-3，构建MaskIoU头部，其使用掩码分数Mask Scoring来重新表示Mask质量：首先在步骤2-4-2的基础上将Mask预测层的输出特征图采用2×2最大池化层进行2倍降采样后与RoI Align层输出的大小为14×14、通道数为256的RoI特征图进行级联得到大小为28×28、通道数为257的特征图。MaskIoU头部包含四个连续的卷积核大小为为3×3、输出通道数为256的卷积层，其中最后一个卷积层的步长为2。随后还连接2个输出通道数为1024以及1个输出通道数为1的全连接层；

步骤3，实例分割网络模型的训练，具体包括如下步骤：

步骤3-1，由于数据集红外云图是单通道的灰度图像，为了后续进行迁移学习将灰度图像转换成RGB三个通道图像，这三个通道值相同都为原先的灰度值。对转换后的训练集图像以及对应的实例标注进行数据增强：首先对图像按照多个比例尺度进行缩放，其中长边为1333，短边为{640,672,704,736,768,800}中的随机一个，并保持图像原始比例，同时也采用随机水平翻转进行数据增强。

对像素值进行中心化处理，由于训练采用了ImageNet数据集上的预训练模型，因而需要将图像按ImageNet数据集中的均值进行归一化。归一化操作按通道进行，R、G、B通道的均值分别为123.675、116.28、103.53，标准差为58.395、57.12、57.375，将RGB三个通道均值标量组合表示为向量

然后将图像尺度填充成32的倍数避免后续卷积操作时造成特征丢失；

相应地，输入图像经过缩放以及水平翻转数据增强后相应的实例标注也要进行相同的变换得到正确的标注；

步骤3-2，设置实例分割网络中预测边框头部的分类损失函数：分类任务使用的是焦点损失函数Focal Loss来改善一阶段检测器中类别不平衡问题。由于数据集中只包含一类标记，因此只需训练一个二分类器。考虑到该网络将每个位置视为训练样本而非锚框，设特征图F

其中

其中s

其中α为权重因数，γ≥0为可调的聚焦参数，实验中α和γ分别被设置为0.25和2.0。对于特征图F

步骤3-3，设置中心度损失函数：给定特征图F

显然

其中

步骤3-4，设置距离回归损失函数：回归任务采用的是GIoU损失函数，设距离

其中C为

其中

步骤3-5，设置Mask损失函数：在经过Mask Head之前预测边框头部预测得到多个提议边框proposals，根据0.05的分数阈值以及IoU阈值为0.6的非极大抑制得到每个图像最大数目为100的RoI。为了提高收敛速率以及提高检测性能，将GT边框也加入到RoI中用于网络训练。设添加了GT边框的RoI共有N个，GT边框共有K个，计算RoI与GT两两之间的IoU，并根据IoU阈值0.5将RoI划分为正负样本，其中正样本标签为1负样本标签为0，得到第i∈[0,N)个RoI与其最匹配的第j∈[0,K)个GT边框相关信息相对应的字典D，最后以正样本占全部样本1/4的比例进行采样得到用于Mask Head的训练样本X。

由于Mask Loss只定义在正样本上，因此还需要对训练样本X进行前景筛选。设共得到M个正样本RoI，第i个RoI

其中

步骤3-6，设置MaskIoU损失函数：设级联操作后的第i个特征图经过预测掩码交并比头部MaskIoU Head得到的预测值为pred_maskiou

步骤3-7，设置多任务损失函数：将上述分类损失函数、中心度损失函数、距离回归损失函数、Mask损失函数以及MaskIoU损失函数相加得到小批量总的多任务损失函数：

其中N

步骤3-8，设置网络学习相关参数并进行训练：使用VovNetV2-99在ImageNet上的预训练权重来进行迁移学习。在边框预测结果上选择置信度最高的1000个proposals，经过非极大抑制保留100个proposals，其中非极大抑制NMS中IoU阈值为0.6。在Mask Head中将与真实标记框的IoU值大于0.5的proposals看作正样本，否则为负样本，且用于训练的正样本数占全部训练样本的1/4。同时，网络训练采用小批量的随机梯度下降对网络模型进行优化，批大小为2，学习率为0.0025，并在最初1000次迭代中采用Warmup策略，同时使用系数为0.9的动量Momentum。在正则化方面，采用了10

步骤4，使用训练好的实例分割网络进行分割结果的预测，具体包含如下步骤：

步骤4-1，对需要实例分割的图像进行与步骤3-1中基本相同的数据增强，不同的是推断时仅对图像进行单尺度缩放，即长边为1333，短边为800；

步骤4-2，训练好的网络对步骤1-3中得到的测试图像进行前向计算，在预测边框头部中剔除置信度小于0.05的proposals，筛选出1000个置信度最高的提议边框proposals，通过NMS得到最多50个RoI用于Mask分支预测，最终根据分类分支预测的类别k来得到第k个Mask(但本文使用的数据仅包含一种类别)，该28×28大小的Mask将会被缩放到对应RoI尺度大小，并通过阈值为0.5来进行二值化生成最终的掩码Mask；

步骤4-3，Top-50个proposals同样也通过MaskIoU头部来预测掩码交并比MaskIoU，该值将乘以分类置信度得到,最终的Mask置信度；

步骤4-4，根据步骤4-2生成的Mask以及对应步骤4-3得到的Mask置信度，采用NMS，其中IoU阈值为0.5，筛选出最终的预测Mask；

步骤4-5，对相邻时刻的我国江淮地区的静止卫星红外云图进行中尺度对流系统实例分割，得到如图5所示的中尺度对流系统实例；

步骤5，根据相关目标匹配原则来实现多个连续时刻中尺度对流系统的追踪，同时考虑了普遍存在的分裂和合并现象，具体包含如下步骤：

步骤5-1，求得每个中尺度对流系统实例的质心坐标

area＝N

其中N为中尺度对流系统实例包含的总的像素点数，x

步骤5-2，按照时序求得相邻两时刻中尺度对流系统的持续时间、质心点位置变化、面积变化以及强度变化。若相邻时刻某两个中尺度对流系统满足质心点位置变化≤50m/s、面积变化≤5km

步骤5-3，考虑中尺度对流系统普遍存在分裂和合并现象需进行相应处理。若某一时刻存在多个中尺度对流系统MCS记作X

若前一个时刻有多个MCS记作与该时刻的某个MCS记作P

图6所示的追踪结果中，每个时刻间隔半小时，第一时刻识别出三个云团，同理第二时刻也识别出三个云团，对相邻两时刻的云团特征量(质心位置移动距离、面积变化、强度变化)进行计算分析，将第二时刻追踪到与第一时刻相对应的且符合目标匹配原则的云团做出标记，由图6第二时刻可以看出第一时刻所标识的目标云团3在第二时刻找不到与之满足目标匹配原则的云团，因此云团3消亡。而第一时刻云团1与云团2在第二时刻存在与之满足目标匹配原则的云团，则在第二时刻对应的云团标记为相同的编号如图6第二时刻中的云团1与云团2。第二时刻的云团4则为该时刻的新生云团。依照第一时刻和第二时刻所识别追踪的云团，可以得到时段三、四所追踪到的目标云团，其为图6第三时刻与第四时刻所示。最后根据持续时间需要≥1h，可以筛选得到符合要求的MCS，图6仅云团2为正确的MCS，其出现在第一时刻、第二时刻以及第三时刻，共持续了一个小时(满足≥1h)；

本实施例在公开的美国国家海洋和大气管理局提供静止卫星红外亮温资料数据上进行中尺度对流系统实例分割，实验配置环境如表1所示，并比其他目前主流的深度学习实例分割方法如Mask R-CNN、Mask Soring R-CNN、Cascade Mask R-CNN、HTC在相同的配置环境下作比较得到表2所示的实验结果，评估标准采用的是COCO数据集部分标准(即boxAP、box AR、mask AP、mask AR以及推断时间)。

表1实验配置环境

表2实例分割对比实验结果

可以看到，本发明在准确率以及召回率上相比与目前一些主流的实例分割方法在该数据集上有很大的优势，同时又保持着与Mask R-CNN近似的检测速度并没有额外过于复杂的计算开支，有效地证明了本发明检测精度高速度快的特性。

本发明提供了基于图像无锚框检测的中尺度对流系统识别与追踪方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。