基于人工智能和图像处理的无人机动力参数控制系统

摘要

本发明公开了一种基于人工智能和图像处理的无人机动力参数控制系统，涉及人工智能领域。该系统包括：图像采集模块用于获取场景图像和刚体点云集；刚体直线获取模块用于获得刚体直线；场景直线获取模块用于获取场景直线；区域像素均方差获取模块用于获取所述目标区域像素均方差和场景区域像素均方差；果冻效应量化模块用于获取图像果冻效应量化指标；调节范围获取模块用于获得无人机对应的最佳螺距调节范围和最佳转速调节范围；动力参数获取模块用于获取最佳螺距和最佳转速。该系统从而实现了对无人机螺距和转速最佳调整方式的自动选取，能够在消除果冻效应的同时，保证无人机动平衡状态最佳，飞行姿态平稳。

说明书

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能和图像处理的无人机动力参数控制系统。

背景技术

无人机在飞行过程中，机架、传感器的震动是不可避免的，当机架或装置发生共振时，无人机摄像头采集的图像将会出现果冻效应，目前针对无人机航拍图像中的斜拉、扭曲等现象，可通过调整桨效使得飞行工况中的中心振动频率发生变化，以避免航拍图像出现果冻效应。但是两侧桨叶升力的微小差异，对无人机会产生很大的影响，造成动平衡异常问题，所以在调整无人机螺距转速过程中，容易引起螺旋桨气动不平衡，从而产生震动、噪音等致使图像果冻效应加剧，还会加速轴承磨损、增加功耗、缩短机械寿命，影响整个飞行器的性能，增加故障概率，严重时甚至会造成飞控死机，造成飞行器失控。所以目前在通过调整无人机螺距转速减小果冻效应时，需要通过人工大量的测试或者实验才能获得既能减小果冻效应又能能够保证无人机螺旋桨动平衡最佳的调整方式。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于人工智能和图像处理的无人机动力参数控制系统，所采用的技术方案具体如下：

本发明一个实施例提供了一种基于人工智能和图像处理的无人机动力参数控制系统，包括：

图像采集模块，用于利用无人机获取待采集场景中的场景图像和点云数据集，并提取所述点云数据集中刚体地形所构成的点云集，为刚体点云集；

刚体直线获取模块，用于将所述刚体点云集转化为二维深度图像，并经图像处理获得所述深度图像中的刚体直线；

场景直线获取模块，用于根据任意一条所述刚体直线及其邻边区域设置目标区域，并根据所述目标区域获得场景图像中对应的场景区域，并对所述场景区域进行直线拟合获取场景直线；

区域像素均方差获取模块，用于将所述深度图像和所述场景图像进行归一化处理，获取所述目标区域像素均方差和所述场景区域像素均方差；

果冻效应量化模块，用于根据所述目标区域均方差和所述场景区域均方差以及所述目标区域中的直线和所述场景直线获取图像果冻效应量化指标；

调节范围获取模块，用于当所述果冻效应量化指标超出可调整区间时，判定无人机振动异常；否则，将所述果冻效应量化指标输入神经网络中，获得对应的最佳螺距调节范围和最佳转速调节范围；

动力参数获取模块，用于根据所述最佳螺距调节范围和所述最佳转速调节范围获取最佳螺距和最佳转速，所述最佳螺距和最佳转速为在螺距最佳调节范围内和转速最佳调节范围内，使螺旋桨动平衡指标最小的螺距和转速。

优选的，图像采集模块包括刚体点云提取单元，所述刚体点云提取单元包括：

阈值处理子单元，用于当所述点云数据集中点云的深度值大于距离阈值时，将该点作为待检测点云集合；

聚类子单元，用于将所述待检测点云集合进行聚类分析，获得多个待检测点云簇；

深度最大值获取子单元，用于获取所述待检测点云簇中点云的深度值的方差，并标记所述待检测点云簇中深度值最大值；

刚体点云获取子单元，用于根据所述最大值设置刚体区间，当所述刚体区间中点云数量大于数量阈值时，认定为刚体点云集。

优选的，刚体点云获取子单元中刚体区间的设置还包括利用所述最大值结合特殊结构偏移值获得刚体区间的范围，所述特殊结构偏移值为刚体建筑顶层特殊结构造成的偏移值。

优选的，果冻效应量化模块包括量化指标获取单元，所述量化指标获取单元用于将所述目标区域中的直线斜率和所述场景直线的斜率求差处理，获取斜率差值，将所述目标区域均方差和所述场景区域均方差求差处理，获得像素均方差的差值；对所述斜率差值和像素均方差的差值赋予权重，进行加权求和，获得所述果冻效应量化指标。

优选的，所述动力参数获取模块包括：

动平衡指标获取模块，用于利用惯性测量单位传感器获取螺旋桨动平衡指标，同时利用传感器获取螺距和转速；

三维响应曲面获取单元，用于采用回归方程拟合螺旋桨动平衡指标与所述螺距和转速之间的映射关系，获得三维响应曲面；

最佳动力参数获取单元，用于根据所述三维响应曲面选取所述最佳螺距调节范围内和所述最佳转速调节范围内使螺旋桨动平衡指标最小的最佳螺距和最佳转速。

优选的，所述的图像采集模块中利用无人机搭载激光雷达和卷帘相机进行信息采集，并且所述激光雷达和所述卷帘相机视角相同，位姿保持固定。

优选的，所述的图像采集模块中利用无人机获取待采集场景中的场景图像和点云数据集的过程中，所述无人机距地面的飞行高度固定。

本发明实施例中至少具有如下有益效果：

本发明实施例通过激光雷达与无人机摄像头结合对无人机采集的图像进行检测，判断图像中是否存在果冻效应，并对图像的果冻效应进行量化用于反映无人机振动情况；为消除图像的果冻效应，本发明实施例设计调节策略，调节无人机的螺距及转速，并利用动力参数获取模块获得无人机螺旋桨调节的最佳螺距和最佳转速，使得系统通过调节螺距、转速消除果冻效应的同时保证无人机飞行姿态，能够维持平稳航拍。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于人工智能和图像处理的无人机动力参数控制系统的示意图；

图2为本发明一个实施例所提供的一种基于人工智能和图像处理的无人机动力参数控制系统的结构框图；

图3为本发明一个实施例所提供的一种基于人工智能和图像处理的无人机动力参数控制系统中动平衡指标获取模块中三维响应曲面图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能和图像处理的无人机动力参数控制系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于人工智能和图像处理的无人机动力参数控制系统的具体方案。

请参阅图1和图2，图1示出了本发明一个实施例所提供的一种基于人工智能和图像处理的无人机动力参数控制系统的示意图；图2示出了本发明一个实施例所提供的一种基于人工智能和图像处理的无人机动力参数控制系统的结构框图，该系统包括：

图像采集模块，用于利用无人机获取待采集场景中的场景图像和点云数据集，并提取点云数据集中刚体地形所构成的点云集，为刚体点云集；

刚体直线获取模块，用于将刚体点云集转化为二维深度图像，并经图像处理获得深度图像中的刚体直线；

场景直线获取模块，用于根据任意一条刚体直线及其邻边区域设置目标区域，并根据目标区域获得场景图像中对应的场景区域，并对场景区域进行直线拟合获取场景直线；

区域像素方差获取模块，用于将深度图像和场景图像进行归一化处理，获取目标区域像素均方差和场景区域像素均方差；

果冻效应量化模块，用于根据目标区域均方差和场景区域均方差以及目标区域中的直线和场景直线获取图像果冻效应量化指标；

调节范围获取模块，用于当果冻效应量化指标超出可调整区间时，判定无人机振动异常；否则，将果冻效应量化指标输入神经网络中，获得对应的最佳螺距调节范围和最佳转速调节范围；

动力参数获取模块，用于根据最佳螺距调节范围和最佳转速调节范围获取最佳螺距和最佳转速，最佳螺距和最佳转速为在螺距最佳调节范围内和转速最佳调节范围内，使螺旋桨动平衡指标最小的螺距和转速。

综上所述，本发明的实施例公开了一种基于人工智能和图像处理的无人机动力参数控制系统，该系统通过激光雷达与无人机摄像头结合对无人机采集的图像进行检测，判断图像中是否存在果冻效应，并对图像的果冻效应进行量化用于反映无人机振动情况；为消除图像的果冻效应，本发明实施例设计调节策略，调节无人机的螺距及转速，并利用动力参数获取模块获得无人机螺旋桨调节的最佳螺距和最佳转速，使得系统通过调节螺距、转速消除果冻效应的同时保证无人机飞行姿态，能够维持平稳航拍。

具体的，在本实施例的图像处理模块中，无人机距离地面固定高度飞行，并采用TOF激光雷达和滚动快门相机对建筑物场景信息进行采集，并且相机拍摄角度与激光雷达扫描一致，视角相同。需要说明的是，对相机及激光雷达调整完成之后，相机及激光雷达位姿保持固定，在其他实施例中可根据实际情况调整所需的拍摄视角。

进一步的，考虑到城市场景中包括城市建筑物、树木以及地面等地形，在本实施例中，该图像处理模块还包括刚体点云提取单元，刚体点云提取单元包括阈值处理子单元、聚类子单元、深度最大值获取子单元以及刚体点云获取子单元。具体的：

阈值处理子单元，用于当点云数据集中点云的深度值大于距离阈值时，将该点作为待检测点云集合。具体的，在本实施例中所采集的三维点云数据集，其Z坐标表示为深度值，所以当点云数据集中点云的Z坐标大于距离阈值时，将该点作为待检测点云集合。

需要说明的是，在实际的城市场景中，对于不同地形的点云数据，点云三维坐标中的Z坐标会有很大差距，城市建筑物、树木等地形的Z坐标的点云数据信息要高于地面其他地形点云数据。

本实施例将初始点云集合中所有点云的Z坐标均值作为距离阈值，对点云数据进行阈值化处理，将点云三维坐标中的Z坐标数值高于距离阈值的点云放入待检测点云集合。

聚类子单元，用于将待检测点云集合进行聚类分析，获得多个待检测点云簇。

深度最大值获取子单元，用于获取待检测点云簇中点云的深度值的方差，并标记待检测点云簇中深度值最大值；需要说明的是，方差能够体现点云簇中点云在Z坐标的上分布离散程度。

刚体点云获取子单元，用于根据最大值设置刚体区间，当刚体区间中点云数量大于数量阈值时，认定为刚体点云集。具体的，根据深度最大值获取子单元所获得的待检测点云簇中点云的Z坐标的方差获得点云坐标均方差结合该点云簇对应的刚体区间内点云的个数对刚体点云集合进行判断。在本实施例中，对点云Z坐标均方差设置均方差阈值σ

具体的，上述刚体点云获取子单元中的刚体区间在本实施例的获取方法为：将深度最大值获取子单元所获得的点云簇中的Z坐标最大值记为Max(z)，将[Max(z)-d

需要说明的是，根据场景中地形之间的高度差别获取待检测点云集合，能够有效降低无关工况的影响，减小系统计算量，提高后续系统的检测速度，便于后续从待检测点云集合中快速获取刚体点云集合。

具体的，在本实施例的刚体直线获取模块中，采用霍夫直线检测算法检测二维深度图像中的刚体直线。需要说明的是，在本实施例中，刚体直线获取模块能够获取没有果冻效应情况下的直线，提取二维深度图像中的直线，便于对场景图像中的直线进行定位分析，并方便后续分析场景图像的果冻效应指标。

具体的，本实施例的场景直线获取模块包括目标区域获取单元、场景区域获取单元以及场景直线获取单元。具体的：

目标区域获取单元用于在上述刚体直线获取模块获得刚体直线后，选取其中一条刚体直线并根据其邻边区域设置目标区域。需要说明的是，所获得的目标区域能够足够反映出对应刚体直线及其周围的图像信息，并且由于本实施例所采用的TOF激光雷达视角与相机视角一致，因此能够根据所获得的深度图像中的目标区域进一步获得场景图像中对应的场景区域。所以选取目标区域能够便于分析场景图像中场景区域的果冻效应，减少系统计算量，而在其他实施例中可按照实际情况自行设置选取规则。

场景区域获取单元用于根据上述目标区域获取单元所获得的目标区域，从场景图像中获取对用的场景区域。

场景直线获取单元用于在获取场景图像中的场景区域后，场景区域内的直线进行拟合，获取场景区域中的直线，然后筛选出刚体直线所对应的场景直线。

具体的，在本实施例中，直线拟合采用RANSAC算法，需要说明的是，由于筛选的方式可通过限定区域范围、阈值化等方法，属于公知常识，在不同实施例中可采用不同的实现形式，在此不再赘述。

具体的，在本实施的区域像素方差获取模块中，考虑到深度图像的像素值反映的是深度信息，场景图像为RGB图像，直接对不同量纲下的特征信息进行对比，将对后续图像果冻效应指标分析造成干扰。因此，本实施例利用图像处理对场景图像和深度图像进行归一化处理，消除不同量纲带来的影响。需要说明的是，在本实施例中，场景图像中的像素值反应的是图像的纹理信息，直接对不同量纲下的特征信息进行对比，将对后续图像果冻效应指标分析造成干扰。因此，利用归一化的方法对场景图像和深度图像进行处理，消除不同量纲带来的影响。本实施例中无人机飞行高度固定，所以对场景图像和深度图像进行归一化后能够进行图像特征对比，反映果冻效应程度。

具体的，在本实施例中，场景图像的归一化方法为：

其中，G(x,y)为场景图像中(x,y)位置处的像素值,G′(x,y)为归一化之后的(x,y)处的像素值，max(G)为场景图像中像素值的最大值。

场景图像中场景区域像素均方差δ为：

其中，N为场景区域像素个数，x

需要说明的是，深度图像的归一化方式以及深度区域像素均方差的获取方式与上述归一化方法和均方差获取方式相同，在本实施例中不在赘述。

具体的，在本实施例中，果冻效应量化模块包括量化指标获取单元，量化指标获取单元用于将目标区域中的刚体直线斜率和场景直线的斜率求差处理，获取斜率差值，将目标区域像素均方差和场景区域像素均方差求差处理，获得像素均方差差值；对斜率差值和像素均方差的差值赋予权重，进行加权求和，获得果冻效应量化指标。具体的，果冻效应量化指标

其中，Δk为斜率差值，Δδ为像素均方差差值。α为第一权重值，β为第二权重值。

具体的，在本实施例中，α＝0.4、β＝0.6，所获得的果冻效应量化指标越大，反映出场景图像的果冻效应越严重。

具体的，在本实施例中，调节范围获取模块包括振动异常判定单元和神经网络单元。具体的：

振动异常单元用于当果冻效应量化指标超出可调整区间时，判定无人机振动异常否则，将果冻效应量化指标输入神经网络中。具体的，在本实施例中，根据果冻效应量化指标多次测试，设置可调节范围

神经网络单元用于根据果冻效应量化指标获得无人机对应的最佳螺距调节范围和最佳转速调节范围。具体的，神经网络单元中神经网络训练方法如下：

通过无人机进行多次图像采集，并采用无人机传感器记录不同果冻效应指标相对应的螺距转速，系统每间隔5帧进行一次采样，记录多组一一对应的数据集，作为神经网络的训练数据。其中，神经网络的输入为图像果冻效应量化指标，输出为无人机的螺距、转速，网络采用均方差损失函数进行迭代训练。

需要说明的是，神经网络单元中的神经网络有多种实现方式，包括沙漏网络Hourglass、Mask-RCNN和deeplabv3等网络结构。在本实施例中，采用Deeplabv3的网络结构。

具体的，本实施例的动力参数获取模块包括动平衡指标获取单元、三维响应曲面获取单元以及最佳动力参数获取单元。具体的：

动平衡指标获取单元用于利用惯性测量单位传感器获取螺旋桨动平衡指标，同时利用传感器获取螺距和转速。具体的，本实施例通过惯性测量单位传感器感知无人机在空中的姿态和运动状态，获取无人机的线加速度作为无人机的动平衡指标。需要说明的是，无人机的线加速度能够体现无人机的飞行状态，反映无人机的动平衡差异。在其他实施例中，可通过其他数据信息及其综合数据反映无人机动平衡。

三维响应曲面获取单元用于采用回归方程拟合螺旋桨动平衡指标与螺距和转速之间的映射关系，获得三维响应曲面。

需要说明的是，当无人机螺旋桨转速、螺距在调整过程中变化较大时，螺旋桨会存在气动不平衡问题，两侧桨叶升力的微小差异，也将会产生很大的不平衡量，使螺旋桨动平衡异常。因此，在本实施例中，如图3所示，在三维坐标系中，根据所获得的螺旋桨的动平衡指标p，结合传感器记录无人机螺距L、转速V，并通过实验得到多组对应数据，采用回归方程来拟合影响因子螺距、转速与响应值动平衡指标之间的关系，得到对应的三维响应曲面。具体的，三维响应曲面是指动平衡指标与一组输入变量螺距、转速之间的映射关系为：

P＝f(L,V)

其中，P为动平衡指标，L为螺距，V为转速。

最佳动力参数获取单元用于根据三维响应曲面选取最佳螺距调节范围内和最佳转速调节范围内使螺旋桨动平衡指标最小的最佳螺距和最佳转速。具体的，本实施例通过遗传算法，结合三维响应曲面，在螺距和转速的最佳调节范围中，搜索能够满足动平衡指标模型最小的无人机螺距、转速，该场景下最佳的螺距L

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。