面向大型飞机外形的三角网格表征学习方法

摘要

本发明公开了面向大型飞机外形的三角网格表征学习方法，包括：S1：基于大型飞机外形对应的三角网格数据，在原始图像上建立原图和对偶图；S2：针对原图应用RWPE位置编码，得到节点特征向量嵌入；S3：将节点特征向量嵌入输入图Transformer模块，将对偶图输入图卷积模块，得到原图特征图和对偶图特征图；S4：最大池化原图特征图和对偶图特征图，并采用MLP和softmax实现大型飞机外形的三角网格的分类或分割。本发明能够结合卷积网络和Transformer架构的优势，最大限度地保留局部细节和全局依赖关系，能够提取出具有丰富语义信息的有效特征，充分发挥网格表示的优势，且不需要人为的先验知识。

说明书

技术领域

本发明属于飞机外形三角网格表征技术领域，具体涉及面向大型飞机外形的三角网格表征学习方法。

背景技术

在大型飞机的设计和制造过程中，准确描述和分析飞机外形至关重要。三角网格是一种常用的图形表示方法，将物体表面划分为小三角形，并使用顶点和连接边来描述物体的形状。使用三角网格表示形式，其所包含的拓扑结构和几何信息的复杂性增加了表征学习的难度。由于三角网格的非均匀性和高维性，传统的机器学习方法难以直接应用于三角网格的表征学习。

深度学习是一种机器学习的分支，通过多层神经网络来学习和表征复杂的数据模式，可应用于对三角网格进行学习和表征。目前深度学习通过学习飞机三角网格的内在特征，可以完成诸如分类、分割、形状生成和重建等下游任务，但是一般需要人为的先验知识，较难提取出具有丰富语义信息的有效特征，充分发挥网格表示的优势。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供面向大型飞机外形的三角网格表征学习方法，能够结合卷积网络和Transformer架构的优势，分别专注于局部信息和全局信息，融合二者以进行有效合并，最大限度地保留局部细节和全局依赖关系，能够提取出具有丰富语义信息的有效特征，充分发挥网格表示的优势，且不需要人为的先验知识。

为实现上述技术目的，本发明采取的技术方案为：

面向大型飞机外形的三角网格表征学习方法，包括：

S1：基于大型飞机外形对应的三角网格数据，在原始图像上建立原图和对偶图；

S2：针对原图应用RWPE位置编码，得到节点特征向量嵌入；

S3：将节点特征向量嵌入输入图Transformer模块，将对偶图输入图卷积模块，得到原图特征图和对偶图特征图；

S4：最大池化原图特征图和对偶图特征图，并采用MLP和softmax实现大型飞机外形的三角网格的分类或分割。

为优化上述技术方案，采取的具体措施还包括：

上述的S1所述原图由网格的每个面作为节点，两个相邻面之间存在边连接，所述对偶图由网格的每条边作为节点，共享同一顶点的边之间存在连接的边连接两个节点。

上述的S2包括：

步骤S21、在原图上选取一个节点p，设定随机游走的k步，计算在k次随机游走下，回到自身节点p的概率，得到一个k维的概率向量，其中网络的初始位置编码通过将RWPE位置编码嵌入到一个d维向量中得到的；

步骤S22、重复步骤S21，直到原图上所有节点对应的位置编码向量全部计算完毕，将所有节点的RWPE位置编码通过线性映射嵌入到d维向量中，得到节点的初始位置编码。

步骤S23、将节点原始特征通过线性映射嵌入到d维向量，与对应节点的初始位置编码相加，得到节点特征向量嵌入。

上述的S3包括：

步骤S31、将节点特征和对偶图特征经过一个线性映射投影到d维度的隐藏层特征；

步骤S32、将节点的位置编码通过线性投影embedding投影到d维度的隐藏层特征，并添加到输入的节点特征上；

步骤S33、使用神经网络参数KQV矩阵计算每个节点的隐式注意力分数，并将其与对偶图特征矩阵相乘以融合边信息，将输出传递给前馈网络FFN，并通过残差连接和归一化层进行分离；

步骤S34、将对偶图特征使用主邻域聚合图神经网络PNA进行特征聚合，再使用ReLU激活函数层和BatchNorm层消除线性和归一化；

步骤S35、重复步骤S34，直至达到设置的图卷积网络层数，并将所有图卷积层的特征拼接在一起，使用BatchNorm对每个批次的特征进行归一化操作；

步骤S36、对步骤S34得到的对偶图特征图进行线性变换，作为步骤S33的输入；对步骤S33所得融合过的对偶图特征进行线性变换，作为步骤S34的输入；

步骤S37、重复步骤S31至S36，直至达到设置的卷积-Transformer模块数量，输出原图特征图和对偶图特征图。

上述的步骤S33包括：

步骤S331、计算注意力得分，当节点i关注节点j时，计算softmax之前的一个中间注意力分数

步骤S332、将

上述的边的层更新方程如下所示：

其中

其中Q

上述的步骤S332具体如下:

其中

其中

上述的步骤S36包括：使用一个线性层调整特征映射维度，并重组边特征；将步骤S34得到的对偶图特征图进行线性变换后作为步骤S33的输入时，需将对偶图特征图复制一份作为反向边的特征；将对步骤S33所得融合过的对偶图特征进行线性变换后作为步骤S34的输入时，将边和反向边的特征聚合；使用BatchNorm和LeakyReLU用以激活和正则化特征。

上述的S4包括：

步骤S41、根据步骤S3得到的原图特征图和对偶图特征图，使用平均池化计算最终聚合的特征表示；

步骤S42、根据下游任务选择对应的模块：分类任务使用MLP和softmax计算类别概率，分割任务使用MLP计算每个三角网格面所对应的类别。

本发明具有以下有益效果：

本发明在图神经网络中利用几何知识和Transformer对三角网格(Mesh)进行表征学习，即提出一种新的网络结构MeshGeoFormer，通过在Mesh上建立原图和对偶图的方式，最大限度的利用网格中的几何信息，实现三维数据的表征学习和处理，进而实现大型飞机外形数据的分类分割任务；在原始数据上建立原图，使用图Transformer处理原图的特征图，对原图进行全局上的特征聚合；在原始数据上建立对偶图，使用图神经网络在对偶图上进行局部的特征聚合与几何信息提取；MeshGeoFormer采用双重结构，能够结合卷积网络和Transformer架构的优势，分别专注于局部信息和全局信息，即同时对原图和对偶图进行处理并存在特定的信息交互，然后对其进行有效合并，最大限度地保留局部细节和全局依赖关系，能够提取出具有丰富语义信息的有效特征，充分发挥网格表示的优势，且不需要人为的先验知识；最后根据下游任务使用对应的模块聚合所提取的特征，得到最终的分类分割结果。所提出的方法在网格分类和网格分割的代表性任务中取得了具有竞争力的实验结果。

附图说明

图1是本发明一种面向大型飞机外形的三角网格表征学习方法的流程图。

图2是本发明实施例的神经网络总体示意图。

图3是本发明实施例的图卷积网络部分示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。

如图1-3所示，本发明一种面向大型飞机外形的三角网格表征学习方法，用于提取针对大型飞机外形的关键特征和结构，改善模型的性能和泛化能力，所述三角网格表征学习方法包括如下步骤：

S1：基于大型飞机外形对应的三角网格数据，在原始图像上建立原图和对偶图；

该步骤对于飞机外形对应的三角网格数据，在保持一致的感受野前提下，在原始图像上建立原图和对偶图；原图由网格的每个面作为节点，两个相邻面之间存在边连接，对偶图由网格的每条边作为节点，共享同一顶点的边之间存在连接的边连接两个节点；

S2：针对原图应用RWPE位置编码，得到节点特征向量嵌入；

该步骤应用RWPE位置编码，在原图上进行低复杂度的随机游走，考虑节点对其自身的访问概率，得到在每个节点具有唯一的k-hop拓扑邻域的条件下唯一的节点表示，将其嵌入d维向量，得到节点特征向量嵌入；

S3：将原始特征输入至网络，分别是：将节点特征向量嵌入输入图Transformer模块；将对偶图输入图卷积模块，得到原图特征图和对偶图特征图；

该步骤将节点特征向量嵌入和对偶特征图分别通过图Transformer模块和图卷积模块，图卷积模块主要由三层GCN层组成，使用残差连接的思想，将输入和输出结果相加。图Transformer模块将节点特征向量嵌入线性映射投影到d维度的隐藏层特征，与位置编码相加，通过与代表边信息的对偶特征图交互计算注意力得分，最终将将输出传递给前馈网络；

S4：最大池化原图特征图和对偶图特征图，并采用MLP和softmax实现大型飞机外形的三角网格的分类或分割；

该步骤最大池化原图和对偶图特征表示，使用两个相同结构的MLP作为分类器，计算输出结果的softmax的值得到概率分布，选取概率最大的一类作为分类或分割结果。

实施例中，步骤S1中包括：将原网格M的每个面视作一个节点，如果两个节点所对应的两个面在M中相邻，则两个节点之间有一条边，建立原图，所使用的输入特征为：面中心店坐标、三个中心点到所在三角面片角点的向量以及单位法向量；对应的，将每条边e∈M视作一个节点，两个节点对应的网格边与M中公用一个顶点(或者说在同一个面上)时，有一条连接两个节点的边，建立对偶图，所使用的输入特征为：面A和面B之间的二面角、A和B共享的边与两个面相对于共享边高度之间的比率(边高比)以及两个面的内角，如图2左半部分所示意。

实施例中，步骤S2包括：

步骤S21、在原图上选取一个节点p，设定随机游走的k步，计算在k次随机游走下，回到自身节点p的概率，得到一个k维的概率向量，其中网络的初始位置编码通过将RWPE位置编码嵌入到一个d维向量中得到的；

步骤S22、重复步骤S21，直到原图上所有节点对应的位置编码向量全部计算完毕，将所有节点的RWPE位置编码通过线性映射嵌入到d维向量中，得到节点的初始位置编码。

步骤S23、将节点原始特征通过线性映射嵌入到d维向量，与对应节点的初始位置编码相加，得到节点特征向量嵌入。

进一步地，在原图上选取一个节点p，RWPE被定义为随机行走的k步：

其中RW＝AD

RWPE采用的是一种低复杂度的随机行走矩阵使用方法，只考虑节点i对自身的访问概率，对于足够大的k，RWPE在每个节点具有唯一的k-hop拓扑邻域的条件下提供了唯一的节点表示。

网络的初始位置编码是通过将拉普拉斯位置编码或RWPE嵌入到一个d维向量中得到的：

实施例中，步骤S3包括：

步骤S31、将节点特征和对偶图特征(等价于边特征)经过一个线性映射投影到d维度的隐藏层特征；

步骤S32、将节点的位置编码通过线性投影embedding投影到d维度的隐藏层特征，并添加到输入的节点特征上；

步骤S33、使用神经网络参数KQV矩阵计算每个节点的隐式注意力分数，并将其与对偶图特征矩阵相乘以融合边信息，将输出传递给前馈网络FFN，并通过残差连接和归一化层进行分离；

步骤S34、将对偶图特征使用主邻域聚合图神经网络(PNA)进行特征聚合，再使用ReLU激活函数层和BatchNorm层消除线性和归一化操作，如图3所示；

步骤S35、重复步骤S34，直至达到设置的图卷积网络层数，并把所有图卷积层的特征拼接在一起，使用BatchNorm对每个批次的特征进行归一化操作；

步骤S36、对步骤S34得到的对偶图特征图进行线性变换，作为步骤S33的输入；对步骤S33所得融合过的对偶图特征进行线性变换，作为步骤S34的输入。

步骤S37、重复步骤S31至S36，直至达到设置的卷积-Transformer模块数量，输出原图特征图和对偶图特征图。

实施例中，步骤S33包括：

步骤S331、计算注意力得分，当节点i关注节点j时，计算softmax之前的一个中间注意力分数

其中

其中Q

步骤S332、为了数值稳定性，对softmax内部的项取指数后的输出被限制为-5到+5之间的值。然后将输出

其中

其中

实施例中，步骤S36包括：

步骤S361、使用FCU以交互的方式连续耦合局部特征和全局表示。首先使用一个线性层调整特征映射维度：

e

其中

步骤S362、原图M＝{V,E,F}是一个无向图，计算时存储边E和反向边E’，故从图卷积(即步骤34的输出)将特征图作为边特征传入Transformer(即步骤33的输入)时将对偶图特征图复制一份作为反向边的特征；

步骤S363、从Transformer将边特征作为对偶图特征传入图卷积时将边和反向边的特征聚合，使用简单的平均聚合边和反向边的特征：

其中e

步骤S364、使用BatchNorm和LeakyReLU用以激活和正则化特征。

实施例中，步骤S4包括：

步骤S41、根据步骤S37计算出的原图和对偶图特征图，使用平均池化计算最终聚合的特征表示；

步骤S42、根据下游任务选择对应的模块，分类任务使用MLP和softmax计算类别概率，分割任务使用MLP计算每个三角网格面所对应的类别。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。