基于物理学结合残差注意力网络的行星边界层参数化方法

摘要

本发明涉及一种基于物理学结合残差注意力网络的行星边界层参数化方法，设计一种同时结合物理学和深度学习的残差注意力网络，包括依次连接的八个时空结合模块，每个时空结合模块包括通道注意力模块CAB和空间注意力模块PNSAB，通过卷积、CAB模块和PNSAB模块提取重要特征和模拟具体的物理过程，CAB模块用来模拟大气湍流过程中的能量交换，让网络不断地学习大气物理常识，PNSAB模块去挑选对于预测结果比较重要的气象要素，能够有效的替换传统模式中的参数化，设计的多个模块协同作用模拟边界层中的物理过程。本发明的模型能更好地模拟边界层内的速度、温度、风速和水汽的垂直分布，同时使用较低的计算成本和较短的时间。

说明书

技术领域

本发明涉及气象预报数值计算领域，尤其涉及一种基于物理学结合残差注意力网络的行星边界层参数化方法。

背景技术

太阳辐射是大气运动的主要动力来源，下垫面吸收太阳辐射后，下垫面与自由大气之间的热量交换主要通过边界层的湍流热量输送完成。边界层内的物质和水汽输送对云和降水的形成，污染物的扩散以及大气化学变化都有着非常重要的作用。因此，在数值模式中对边界层内的物理过程的合理描述是十分必要的。但由于模式本身的垂直和水平分辨率限制和边界层内湍流运动复杂性，边界层内的一些物理过程不能被模式中的动力框架描述，因此，需要将这些物理过程参数化。

数值模式中，边界层参数化主要解决的就是垂直湍流通量项的闭合问题。它通过方程组的形式来表示这些物理过程。表示这些物理过程也有不同的参数化方案。因此，不同的参数化方案模拟的不同方案模拟得出的边界层结构特征存在很大差异。通过实验证明，非局地BLK方案能更好的模拟出温度和地面风速，非局地YSU，ACM2方案模拟得出的白天边界层混合强、夹卷也强，从而模拟出了较高温度和较低的湿度，局地MYJ方案则由于混合和夹卷较弱，模拟得出的温度偏低、湿度偏高。在夜间YSU的混合作用要强于ACM2和MYJ方案，模拟出的温度偏高、湿度偏低。总的来说，非局地YSU,ACM2方案要好于局地MYJ方案。非局地BLK方案被用在MM5模式中用来模拟地区的气候状况。而YSU，ACM2和MYJ被用在WRF模式中用来各地区的模拟中。因此，目前常用的方法就是使用WRF模式去模拟各地区的情况，但是不同的边界层参数化在不同的地区的模拟性能有很大的差异。此外,WRF模式是不断发展和更新的中尺度模式，几乎每个版本都会有新的边界层参数化。

目前，对于强对流天气预报，深度学习与各类气象大数据有效结合，成为一种有效工具。例如，基于MSG卫星旋转增强可见光和红外成像仪（SEVIRI）检测到的云顶高度、云顶温度等因素，有学者采用随机森林，或采用神经网络、SVM两种机器学习算法进行定量降水估计。基于上述研究，也有许多人使用物理学知识指导替代边界层参数化网络结构的设计，这也奠定了本发明的研究基础。

现有技术方案存在的不足：

1、计算资源限制

目前的全球和区域数值预报模式业务应用而言，由于计算资源的限制，短期内在业务中使用百米级尺度分辨率的大涡模拟方法还很难实现。时间限制边界层参数化在模式中以方程组的形式来表现得，所以在模拟时需要花费大量的时间，这样可能会错过重大气候变化。

2、不稳定性

由于模式预报对于不同物理参数化方案的敏感性不同，因此没有一个统一的参数化方案，所以需要根据实时情况来选择不同的参数化方案，这无疑是不合理的。

3、分辨率限制

随着大家对气候预测的要求越来越高，分辨率也相应的提高。但是，目前的数值模式已经不能满足气象预报的需要，所以需要新的方法来实现气候的预测。

4、物理过程问题

尽管现在已经有使用机器学习的方法来替代具体的参数化，但是他们没有全面的考虑边界层中存在的物理过程，因此达到的精度不够。

发明内容

针对现有技术之不足，本发明提出一种基于物理学结合残差注意力网络的行星边界层参数化方法，设计一种结合物理学与深度学习的残差注意力网络，通过依次连接的八个时空结合模块中的通道注意力模块和空间注意力模块学习输入参数数据的特征，所述方法具体包括：

步骤1：获取边界层参数化数据集，在服务器上安装中尺度天气预报模式，即WRF模式，通过所述WRF模式获取边界层参数化数据集，所述边界层参数化数据集包括第一数据集和第二数据集，所述第一数据集的第一数据包括每层行星边界层的地面热通量、行星边界层高度在内的16个气象要素参数数据，所述第二数据集中的第二数据为所述第一数据输入WRF模式后输出的每层边界层的气象要素属性参数；

17个大气边界层每层均包括第一数据集和与之对应的第二数据集；

步骤2：将所述边界层参数化数据集按照约定比例划分为训练集、验证集和测试集；

步骤3：对所述第一数据集进行预处理，使第一数据得到17×16的维度，更适合参数化网络的结构；

步骤4：构建基于残差注意力网络的参数化网络，将步骤3处理后的第一数据集送入构建好的参数化网络中进行训练，所述参数化网络包括依次连接的八个时空结合模块TSI，每个时空结合模块包括通道注意力模块CAB和空间注意力模块PNSAB，所述通道注意力模块CAB用来模拟垂直剖面之间的能量交换和学习垂直剖面内在联系，所述空间注意力模块PNSAB用于提取重要的输入气象变量，具体为：

步骤41：将训练集中第一数据集的第一数据通过一个卷积层得到第一降维特征；

步骤42：将所述第一降维特征送入第一时空结合模块TSI

步骤43：将所述第二降维特征同时分别送进所述通道注意力模块CAB和所述空间注意力模块PNSAB；

所述通道注意力模块CAB包括两个分支：全局特征提取器AAP和局部特征提取器AMP，所述第二降维特征通过所述全局特征提取器AAP得到剖面全局特征，通过所述局部特征提取器AMP得到剖面局部特征，所述剖面全局特征和所述剖面局部特征相加，经过激活函数得到第一剖面注意力矩阵；

所述空间注意力模块PNSAB包括两个分支：关键特征提取器和特征抑制器，第二降维特征通过关键特征提取器得到重要的气象要素特征，通过特征抑制器去除干扰的气象要素特征，所述关键特征提取器的输出结果和所述特征抑制器的输出结果通过通道拼接，然后经过一个卷积层得到第一气象要素注意力矩阵；

最后将所述第一剖面注意力矩阵和所述第一气象要素注意力矩阵相乘，得到第一全局注意力分布矩阵；

步骤44：将第一全局注意力分布矩阵通过一层卷积层和一个激活层得到重构全局注意力分布矩阵，然后将所述重构全局注意力分布矩阵与步骤42得到的所述第二降维特征相乘得到全局特征；

步骤45：将所述全局特征与步骤41得到的所述第一降维特征相加，得到第一重构全局特征；

步骤46：将步骤45的所述第一重构全局特征依次送入其余七个时空结合模块，每个时空结合模块的结构相同，重复七次步骤42至步骤45的操作，最终第八时空结合模块输出最终的第八重构全局特征，所述第八重构全局特征经过一个全连接层，得到最后预测的第二数据；

步骤47：按一个批大小等于256的数据为一次迭代训练网络，不断更新训练网络；

步骤48：若一批完整数据训练完成，即所有数据均被送入模型进行训练，则验证模型和保存模型；

步骤49：判断是否达到训练迭代总次数，训练指标为均方根误差RMSE，若连续三次的RMSE值不更新，则结束训练，保存最后一次更新RMSE值的训练模型，否则返回步骤41；

步骤5：将训练好的网络保存参数，输入测试集的第一数据集进行测试，得到测试第二数据。

根据一种优选实施方式，步骤3的预处理步骤具体包括：

步骤31：采用合成少数类过量采样技术SMOTE对数量少的类别进行采样，以对数量少的类别进行扩充和数据增强，平衡类别分布，避免训练中的过度拟合问题；

步骤32：将步骤31处理后的第一数据集进行标准化处理，使其符合标准的正态分布；

步骤33：将第一数据处理成17×16的维度，便于做卷积提取特征。

本发明的有益效果在于：

1、传统的参数化模式虽然简化了物理过程，但是这些物理过程的计算仍然需要大量的计算资源和计算时间。本发明的深度学习模型数据处理的能力更强大，可以在合理的时间内产生相对准确的结果，在节省大量资源的同时大大提高了计算效率。

2、数值模式是使用网格化的模式来计算结果。因此在一定程度上限制了分辨率。而本发明提出残差注意网络的参数化模型根据输入的数据分辨率得到相应的输出分辨率，因此如果输入更精细的分辨率得到的也是更精细的分辨率，所以本发明的参数化模型可以突破分辨率的壁垒，实现更精细的分辨率输出。

3.传统的数值模式需要根据情况（比如地点）选择不同的参数化方案。本发明的模型可以根据大量的数据集去拟合预测结果，可以不用选择多种参数化方案，可以根据数据的分布自适应当前地点的情况。

4.相比于以前的机器学习方法，本发明的方法设计了通道注意力模块CAB和空间注意力模块PNSAB去模拟边界层中的具体物理过程和物理实际， CAB模块用来模拟这种湍流过程中的能量交换，让网络不断地学习这种物理常识，PNSAB模块去挑选对于预测结果比较重要的气象要素，使得预测的第二数据更加准确，大大提高了预测的可靠性。

5.本发明的参数化模型是已经经过训练的，而传统的参数化是需要经过在线计算的，因此本发明的参数化模型其预测结果几乎是实时的，特别适用于日常生活中的中短期，突发性预报，具有成本低和响应迅速的优点。

附图说明

图1是本发明所提出网络PBLNet的结构示意图；

图2是通道注意力模块CBA的结构示意图；

图3是空间注意力模块PNSAB的结构示意图；

图4中的（a）、(b)、(c)分别是U、V、W的RMSE和R指标在17个垂直剖面上的变化曲线图；

图5中的(a)、(b)分别是tK、QVAPOR的RMSE和R指标在17个垂直剖面上的变化曲线图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

下面结合附图进行详细说明。

本发明中的U、V、W、tK、QVAPOR分别代表纬向风、经向风、垂直速度、

温度、水汽混合比。

针对现有技术的不足，本发明提出一种基于物理学结合残差注意力网络的行星边界层参数化方法，图1是本发明所提出网络PBLNet的结构示意图。本发明方法具体包括：

步骤1：获取边界层参数化数据集，在服务器上安装中尺度天气预报模式，即WRF模式，通过所述WRF模式获取边界层参数化数据集，所述边界层参数化数据集包括第一数据集和第二数据集，所述第一数据集的第一数据包括每层行星边界层的地面热通量、行星边界层高度在内的16个气象要素参数数据，所述第二数据集的第二数据为所述第一数据集输入WRF模式后输出的每层边界层的气象要素属性参数。

第一数据集的第一数据具体包括：地面上2m高度的比湿Q2、地面上2m高度的温度T2、地面上10m风场的纬向分量U10、地面上10m风场的经向分量V10、地面热通量GRDFLX、地面向下的短波通量SWDOWN、地表处的向下长波辐射通量GLW、地表面处的潜热通量LH、地表面处向上的热量通量（感热通量）HFX、行星边界层高度PBLH、表面摩擦速度UST、表皮海面温度TSK、地下2米的土壤温度TSLB、地下0-0.3厘米处的土壤湿度SMIOS、700hPa处的地转风纬向分量Ug、700hPa处的地转风经向分量Vg。

第二数据集的第二数据包括：经向风U、纬向风V、垂直速度W、温度tK、水蒸气混合比QVAPOR的5个属性参数。

17个边界层每层均包括第一数据集和与之对应的第二数据集。

步骤2：将所述边界层参数化数据集按照约定比例划分为训练集、验证集和测试集；

步骤3：对所述第一数据集进行预处理，具体包括：

步骤31：采用合成少数类过量采样技术SMOTE对数量少的类别进行采样，以对数量少的类别进行扩充和数据增强，平衡类别分布，避免训练中的过度拟合问题；

步骤32：将步骤31处理后的数据集进行标准化处理，使其符合标准的正态分布；

步骤33：将第一数据集处理成17×16的维度，便于做卷积提取特征。这是由于边界层有17层，每层有16个第一数据的参数。

步骤4：构建参数化网络，将步骤3预处理后的第一数据集送入构建好的参数化网络中进行训练，所述参数化网络包括依次连接的八个时空结合模块TSI，每个时空结合模块包括通道注意力模块CAB和空间注意力模块PNSAB，通过卷积、CAB模块和PNSAB模块提取重要特征和模拟具体的物理过程，具体为：

步骤41：将训练集中第一数据集的第一数据通过一个卷积层得到第一降维特征；

步骤42：将所述第一降维特征送入第一时空结合模块TSI

在行星边界层中，由于存在湍流过程，所以剖面间存在着能量交换，但是相邻的垂直剖面交换的能量更多更频繁，因此，相邻的剖面对于预测结果的好坏更重要。当然，在同一个剖面时，不同气象要素对于预测结果也是非常重要的。在基于此物理学常识上，本发明设计了CAB模块和PNSAB模块。CAB模块用来模拟这种湍流过程中的能量交换，让网络不断地学习这种物理常识。PNSAB模块去挑选对于预测结果比较重要的气象要素。而CAB模块和PNSAB模块让网络更关注邻近的剖面和重要的气象要素，本发明是通过注意力机制来实现的，

步骤43：将所述第二降维特征同时分别送进所述通道注意模块CAB和所述空间注意力模块PNSAB：

所述通道注意力模块CAB包括两个分支：全局特征提取器AAP（图2右边）和局部特征提取器AMP（图2左边）。在行星边界层中，由于存在湍流过程，所以剖面间存在着能量交换，但是相邻的垂直剖面交换的能量更多更频繁。这两个分支共同作用学习垂直剖面间的湍流过程和能量交换。第二降维特征通过全局特征提取器得到剖面全局特征，全局特征提取器明确考虑了垂直剖面的全局结构，获得垂直剖面的全局压缩特征。通过局部特征提取器得到剖面局部特征，局部特征提取器用于学习垂直剖面之间的最近邻关系，剖面全局特征和剖面局部特征相加，然后对较近的垂直剖面产生较大的权重，较远的垂直剖面产生较小的权重，经过激活函数得到第一剖面注意力矩阵。不仅如此，相邻的垂直剖面之间存在较高的湍流混合率，可以提高能量的传递效率。因此，CAB的模块在本发明的网络结构中是多功能的。

所述空间注意力模块PNSAB也分为两部分：关键特征提取器（图3上面）和特征抑制器（图3下面），它们共同作用给予重要的气象要素特征大的权重，气象要素为第一数据集，即16个气象要素。第二降维特征通过关键特征提取器得到重要的气象要素特征，通过特征抑制器去除干扰的气象要素特征，所述关键特征提取器的输出结果和所述特征抑制器的输出结果通过通道拼接，然后经过一个卷积层得到第一气象要素注意力矩阵。然后将所述第一剖面注意力特征和所述第一气象要素注意力特征相乘，得到第一全局注意力分布矩阵。

除了垂直剖面之间的影响，本发明的预测变量还和气象变量息息相关，气象变量如潜热通量、地面上2m高度的比湿，因此本发明设计了PNSAB模块，旨在对重要的变量给与更多的关注，对重要的气象变量特征给与更高的权重。同时，为更加突出重要的元素，本发明还通过负值特征去除干扰的气象变量。PNSAB和CAB采用相同的结构，也分为两部分，关键特征提取器（图3上面）和特征抑制器（图3下面）。关键特征提取器用来提取重要的气象要素，同时考虑影响因素较小的要素。而特征抑制器通过对特征取反以去除干扰性的特征。这两个分支一起工作，高亮重要的气象要素，分别强调那些特征应该被赋予大的权重和哪些特征应该被去除，最后通过全连接层得到最后的输出。

步骤44：将第一全局注意力分布矩阵通过一层卷积层和一个激活层得到重构全局注意力分布矩阵，然后将所述重构全局注意力分布矩阵与步骤42得到的所述第二降维特征相乘得到全局特征。即采用了残差结构，由于参数化网络的层数较深，所以本发明同时在参数化网络中使用残差结构来防止网络的退化。

步骤45：将所述全局特征与步骤41得到的第一降维特征相加，得到第一重构全局特征。

步骤46：将步骤45的所述第一重构全局特征依次送入其余七个时空结合模块，每个时空结合模块的结构相同，重复七次步骤42至步骤45的操作，最终第八时空结合模块输出最终的第八重构全局特征，所述第八重构全局特征经过一个全连接层，得到最终的预测第二数据。

步骤47：按一个batchsize等于256的数据为一次迭代训练网络，不断更新训练网络；

步骤48：若一批完整数据训练完成，即所有数据均被送入模型进行训练，则验证模型和保存模型；

步骤49：判断是否达到训练迭代总次数，训练指标为均方根误差RMSE，若连续三次的RMSE值不更新，即最后连续三次的RMSE值均大于倒数第四次的RMSE值，RMSE值不更新，则结束训练，保存最后一次更新RMSE值的训练模型，即倒数第四次的训练模型，否则返回步骤41；

步骤5：将训练好的网络保存参数，输入测试集的第一数据集进行测试，得到测试第二数据。

为了更充分证明本发明方法的有效性，将本发明方法和现有的技术方法进行对比，采用的定量评价指标包括：均方根误差RMSE，平均绝对误差MAE，R2，PCC。R2是指真实值与预测值的相关性,它的数值范围为0-1，分数越高，代表预测越准确。RMSE用于衡量误差，其值越小代表效果越好。PCC是指：PCC指代预测值与真实值两个向量的相关系数。相关系数越接近于1，相关度越强，相关系数越接近于0，相关度越弱。

图4为U、V、W的定量指标在17个垂直剖面上的变化曲线，图5为tK、QVAPOR的定量指标在17个垂直剖面上的变化曲线图。本发明PBLNet的输入变量共有16个，但是并不是所有的输入变量对于垂直剖面变量预测都有作用，不同高度的垂直剖面输入变量所占的重要程度也不一样。CAB给每个通道分配不同的权重，使每个垂直剖面的联系更加密切。同时，PNSAB强化重要输入变量提升预测效果。实验结果证明，本发明提出的方法效果也是显著的。

从图4和图5中可以看出：当PBL高度增加时，U、V、W、tK和QVAPOR的RMSE变高，R2变低，这表明近地面变量对较低的垂直剖面的影响更大。并且很容易看出，M1和M2的RMSE随着高度的增加而急剧增加。M3在图4和图5上保持了与PBLNet相同的趋势，表明与PNSAB相比，CAB模块更为重要。从图4和图5中不难看出，本发明所提出的CAB模块可以捕捉到邻域关系，从而可以更好地模拟垂直剖面之间的能量交换，有效地反映物理过程。

M1为基础模型，基础模型为ResNet,没有添加CAB和PNSAB模块，M2为在基础模型上添加了PNSAB模块。M3为在基础模型上添加了CAB模块，PBLNet为在基础模型上添加了PNSAB模块和CAB模块，即本发明所提出的参数化网络。

为了验证PBLNet的有效性，本发明将其与几种最新的方法进行比较,FFN、HPC、HAC、DeepPE，在同一个测试数据集上进行了定量比较。表1为不同方法在U、V、W方面的定量比较。FFN、HPC、HAC、DeepPE为其他参数化方案的结果；PBLNet为本发明所提方法的结果。为了验证PBLNet的有效性，实验中将其与几种最新的方法进行比较,FFN、HPC、HAC、DeepPE。并在同一个测试数据集上进行了定量比较。表1和2显示了PBLNet和最先进方法的实验结果。不难看出，本发明的方法在所有输出变量，包括U、V、W、tK、QVAPOR，均获得了最低的RMSE和MAE，以及较高的R2和PCC。这意味着本发明的模型具有更高的准确性，并且更接近于观察值。具体来说，与较好的网络DeepPE相比，PBLNet在U、V、W、tK和QVAPOR的RMSE方面分别提高了23.7%、25.7%、20.2%、36.4%和42.7%。其中最大的改进是对QVAPOR的42.7%，这表明本发明的CAB很好地模拟了热量和水汽垂直交换的湍流运动。另外值得注意的是，本发明方法的模型对U、V、W、tK、QVAPOR的改进比DeepPE更为明显。这些都表明，PBLNet在能量输送和重要特征的选择上具有更明显的优势，能更好地反映现实生活中行星边界层的实际运动。

表1

表2为不同方法在tK、QVAPOR方面的定量比较。

表2

表1和表2显示了不同模型实验的平均结果，最后一行显示PBLNet在五个预测变量的所有评价指标中取得了最佳性能。所有这些说法表明，PBLNet具有更好的垂直混合拟合能力。

表3在U、V、W方面的消融实验，表3和表4是做了消融实验以验证图4中CAB和PNSAB的作用，可以看到M1、M2和M3虽然也取得了比FFN、 HPC、HAC、DeepPE更好的结果。从表3和表4中不难看出，M1，M2,M3仍然没有PBLNet的效果好。这进一步表明，本发明所提出的CAB和PNSAB在参数化过程中做出了非常大的贡献。具体来说，当CAB和PNSAB被移除时，意味着垂直剖面、物理过程、近地表变量和气象变量之间的相互依赖关系没有被考虑。此外，M3比M2取得了更好的结果，这也表明CAB比PNSAB发挥了更大的作用。可以得出结论，湍流传输和垂直剖面之间的内在联系比近地表变量更为关键。消融实验结果验证了本发明的CAB和PNSAB模块可以促使模型剖析行星边界层参数化的物理过程。

表3

从表3可以看到，当行星边界层高度增加时，U、V、W、tK和QVAPOR的RMSE变高，R2变低，这说明近地面变量对低层的影响较大。同时，为了验证CAB和PNSAB模块的有效性，为了进一步说明不同垂直剖面之间的影响关系，实验得出了每个剖面的5个输出变量在17个垂直剖面上的RMSE和R2的变化。很容易看出，M1和M2的RMSE随着高度的增加而急剧增加。M3在图上保持了与PBLNet相同的趋势，表明与PNSAB相比，CAB更为重要。从表3、表4和图4、图5中不难看出，CAB模块可以捕捉到邻域关系，从而可以更好地模拟垂直剖面之间的能量交换，有效地反映物理现实。综上所述，前面的消融实验证明了本发明设计的PBLNet方案、CAB和PNSAB模块对行星边界层参数化非常有效。

表4在tK、QVAPOR方面的消融实验。

表4

需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。