一种基于多模态数据的全空间激光雷达散射截面计算方法

摘要

本发明公开了一种基于多模态数据的全空间激光雷达散射截面计算方法，包括：S1，对可见光图像中的背景进行掩码处理，并测量每张图像对应视角下的激光雷达散射截面数据；S2，构建基于有限可见光图像到全空间激光雷达散射截面的深度学习推理模型；S3，将可见光图像和视角数据输入到步骤S2中训练完成的深度学习推理模型进行计算推理，输出全空间的激光雷达散射截面分布图；S4，依据全空间激光雷达散射截面的采样精度对经过标定的激光雷达散射截面分布图进行插值，输出最终结果。本发明实现了利用可见光和激光多模态数据并结合深度学习技术求解目标全空间的激光雷达散射截面的方法，增强了针对待测目标全空间激光散射特性的快速计算能力。

说明书

技术领域

本发明涉及激光雷达散射特性计算领域，特别涉及一种基于多模态数据的全空间激光雷达散射截面计算方法。

背景技术

激光雷达散射截面(LRCS)广泛运用于国防、航空、气象等具有重要应用价值的领域，是目标激光散射特性的综合反映。激光雷达散射截面的大小，受到探测视角、目标几何结构形状、目标表面材质及粗糙度等多种因素的影响。现有的激光雷达散射截面的计算方法，依赖于构建足够还原目标的几何结构和表面材料表征。然而，现实中存在很多非合作目标，无法获取其准确的结构和材料特征，导致传统方法得出的LRCS计算结果产生较大偏差。

随着大数据与人工智能技术的极速发展，通过多模态数据与人工智能相结合的方式实现对非合作目标的LRCS特性计算成为可能。多模态数据有助于从多维角度对信息进行互补，弥补单一来源数据的局限性。而深度学习技术利用数据间的隐式关系，能增强多模态数据的信息挖掘，实现对全空间非合作目标LRCS的求解推理。因此，设计一种基于多模态数据的全空间激光雷达散射截面计算方法具有重要意义。

发明内容

本发明的目的是提供一种基于多模态数据的全空间激光雷达散射截面计算方法，通过结合可见光图像数据、激光雷达散射截面截面数据，基于多模态数据融合和深度学习技术，搭建用于快速求解目标全空间激光雷达散射界面的方法框架，为有限测量条件下获取目标全空间激光观测特性，提供一条可形的技术途径。

为了实现以上目的，本发明是通过以下技术方案实现的：

一种基于多模态数据的全空间激光雷达散射截面计算方法，其特点是，所述的方法包括如下步骤：

S1，对大量目标采集不同视角条件下的可见光图像，记录每张图像的视角信息，然后对可见光图像中的背景进行掩码处理，并测量每张图像对应视角下的激光雷达散射截面数据；

S2，构建基于有限可见光图像到全空间激光雷达散射截面的深度学习推理模型，所述的深度学习推理模型以有限数量的可见光图像及图像对应的观测视角矢量为输入数据，球坐标系下环绕目标的全空间激光雷达散射截面的分布图为输出数据；

S3，对于待测目标，拍摄多幅可见光图像及记录对应的观测视角，对可见光图像中的背景进行掩码处理，将可见光图像和视角数据输入到步骤S2中训练完成的深度学习推理模型进行计算推理，输出全空间的激光雷达散射截面分布图；

S4，获取待测目标至少一个视角下的激光雷达散射截面数据作为基准，利用实测激光雷达散射截面数据对步骤S3中输出的激光雷达散射截面分布图进行数值标定，再依据全空间激光雷达散射截面的采样精度对经过标定的激光雷达散射截面分布图进行插值，输出最终结果。

进一步地，所述的步骤S1和S3中的掩码处理指以观测目标为前景，其余图像像素为背景，通过图像前景背景分离方法或人为标注方法，将背景图像像素数值设为0，图像中仅保留前景的像素。

进一步地，所述的步骤S2中深度学习推理模型包括两个子模型：

S21，采集一定量目标全空间的可见光图像作为数据集，基于神经辐射场技术，构建以经过掩码处理的可见光图像和图像观测矢量为输入，待观测方向下只保留目标的可见光图像为输出的生成式神经网络；

S22，以步骤S1中采集的一定量经过掩码处理的可见光图像和相对应视角下的激光雷达散射截面数据为数据集，基于卷积神经网络技术，构建以经过掩码处理的可见光图像为输入，可见光图像相同视角下激光雷达散射截面数值为输出的回归式神经网络。

进一步地，所述的步骤S3中的输入到训练完成的深度学习推理模型进行计算推理，进一步的包含以下步骤：

S31，将有限个经过掩码处理的可见光图像及其观测视角，输入到步骤S21中训练完成的基于神经辐射场技术的生成式神经网络中，在球坐标系下以固定采样间隔围绕目标，逐视角生成可见光图像；

S32，将生成的可见光图像，输入到步骤S22中训练完成的基于卷积神经网络技术的回归式神经网络，逐视角计算每个图像对应的激光雷达散射截面；

S33，以矩阵的形式，按照球坐标下观测目标的天顶角和方位角为排列顺序，将步骤S32中计算的各个角度的激光雷达散射截面数据存入矩阵中，作为输出。

进一步地，所述的步骤S4中的数值标定方法包含以下步骤：

S41、基于基准激光雷达散射截面

S42、计算基准激光雷达散射截面与分布图中查询值的标定比值R；

S43、将分布图中所有元素乘以标定比值R。

进一步地，所述的步骤S3中作为输入的可见光图像至少包含观测角度相差10度的6张图像。

本发明与现有技术相比，具有以下优点：

(1)现有技术通常需要预先构建目标的数字模型，确定表面材质的表征模型和参数。在实际工程应用中，很多非合作目标的几何结构和材质特征都难以获取，导致上述方法求解误差较大。而本发明通过多模态数据融合的发那个是，利用有限的可见光图像和单视角激光雷达散射截面数据，避免了直接构建几何模型和建模表面材质，拓宽了有限探测条件下可求解的目标对象。

(2)现有技术通常采用解析方法求解简单理想模型，基于图形电磁技术、OpenGL技术或射线追踪技术与粗糙面激光散射理论求解复杂目标模型，而求解过程一次只能获取一个视角的数据。而本发明利用深度学习技术，生成待测目标多视角观测图像，一次性求解全空间的激光雷达散射截面数据，增强了计算效率。

附图说明

图1为本发明一种基于多模态数据的全空间激光雷达散射截面计算方法的流程图；

图2为本发明一种基于多模态数据的全空间激光雷达散射截面计算方法的具体流程图。

具体实施方式

以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。

需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

需要说明的是，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括明确列出的要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

如图1、2所示，一种基于多模态数据的全空间激光雷达散射截面计算方法包括：

S1、对大量目标采集不同视角条件下的可见光图像，记录每张图像的视角信息，然后对可见光图像中的背景进行掩码处理，并测量每张图像对应视角下的激光雷达散射截面(LRCS)数据；

本实施例中，通过仿真的方式对1000种不同几何外形的目标，以球坐标系下方位角1度、天顶角1度为采样间隔，采集目标的可见光图像并求解目标的LRCS数据，其中目标表面材质设置为反射率为1的朗伯材质。

其中，上述的掩码处理指以观测目标为前景，其余图像像素为背景，通过图像前景背景分离方法或人为标注方法，将背景图像像素数值设为0，图像中仅保留前景的像素。

S2、构建基于有限可见光图像到全空间LRCS的深度学习推理模型，该模型以有限数量的可见光图像及图像对应的观测视角矢量为输入数据，球坐标系下环绕目标的全空间LRCS的分布图为输出数据；

步骤S2中的深度学习推理模型由两个子模型组成，其模型训练阶段进一步的包含以下步骤

S21、采集大量目标全空间的可见光图像作为数据集，基于神经辐射场(NeRF)技术，构建以经过掩码处理的可见光图像和图像观测矢量为输入，待观测方向下只保留目标的可见光图像为输出的生成式神经网络。

在本实施例中，作为数据集的可见光图像指步骤S1中采集的可见光图像，观测矢量指球坐标系下的观测矢量

S22、以步骤S1中采集的大量经过掩码处理的可见光图像和相对应视角下的LRCS数据为数据集，基于卷积神经网络技术，构建以经过掩码处理的可见光图像为输入，可见光图像相同视角下LRCS数值为输出的回归式神经网络；

本实施例中，所述的神经网络为5层卷积神经网络，并以真实值和预测值的均方差作为损失函数。

S3、对于待测目标，拍摄多幅可见光图像及记录对应的观测视角，对可见光图像中的背景进行掩码处理，将可见光图像和视角数据输入到S2步骤中训练完成的深度学习推理模型进行计算推理，输出全空间的LRCS分布图；

所述的步骤S3中的输入到训练完成的深度学习推理模型进行计算推理，进一步的包含以下步骤：

S31、将有限个经过掩码处理的可见光图像及其观测视角，输入到步骤S21中训练完成的基于神经辐射场技术的生成式神经网络中，在球坐标系下以固定采样间隔围绕目标，逐视角生成可见光图像；

S32、将生成的可见光图像，输入到步骤S22中训练完成的基于卷积神经网络技术的回归式神经网络，逐视角计算每个图像对应的LRCS；

S33、以矩阵的形式，按照球坐标下观测目标的天顶角和方位角为排列顺序，将步骤S32中计算的各个角度的LRCS数据存入矩阵中，作为输出。

在本实施利中，步骤S31采用了6张经过掩码处理的可见光图像，图像的观测视角分别为目标的六视图对应的视角；步骤S32中，天顶角以1度为采样间隔，方位角以1度为采样间隔，共生成64800张图像；步骤S33中LRCS数据存入二维矩阵，其中矩阵x轴有180个元素、y轴360个元素。

S4、获取待测目标至少一个视角下的LRCS数据作为基准，利用实测LRCS数据对步骤S3中输出的LRCS分布图进行数值标定，再依据全空间LRCS的采样精度对经过标定的LRCS分布图进行插值，输出最终结果。

所述的步骤S4中的数值标定方法包含以下步骤：

S41、基于基准

S42、计算基准LRCS与分布图中查询值的标定比值R；

S43、将分布图中所有元素乘以标定比值R。

在本实时例中，以目标正视方向，即天顶角和方位角为0的观测方向下观测的LRCS数据为基准，进行了步骤S4的数值标定。

综上所述，本发明一种通过结合可见光图像数据、激光雷达散射截面截面数据，基于多模态数据融合和深度学习技术，搭建用于快速求解目标全空间激光雷达散射界面的方法框架，为有限测量条件下获取目标全空间激光观测特性，提供一条可形的技术途径。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。