基于RGB_D和深度卷积网络的无人机识别定位系统

摘要

本发明公开了一种基于RGB_D和深度卷积网络的无人机识别定位系统，包括摄像头监控模块、无人机识别模块、二维图像生成三维网格模块和RGB_D测距定位模块；摄像头监控模块获取整个监控区域的图像；无人机识别模块将监控区域的图像，与预存的无人机图像特征进行匹配，识别监控区域中是否存在无人机；二维图像生成三维网格模块通过图卷积神经网络将摄像头监控模块获取的监控区域的图像生成三维网格图；RGB_D测距定位模块通过双目摄像头获取监控区域的RGB_D图像，并根据监控区域的RGB_D图像中无人机与双目摄像头颜色深度的关系计算得到两者之间的距离，结合三维网格图得到的无人机方向，实现对无人机的具体定位。本发明可以实现对于区域内无人机进行高精度的识别与定位。

说明书

技术领域

本发明涉及无人机识别定位技术领域，具体涉及基于一种基于RGB_D和深度卷积网络的无人机识别定位系统。

背景技术

无人机是全球新一轮科技革命和产业革命的热点，现今已在各个领域得到使用，现今无人机这一领域不断在突破，现在已跳脱出过去的单纯军用用途，逐步向民用、警用与家用多方向延伸。而面对人类无法胜任的高难度、高风险与高含量的任务，无人机应运而生，它替代有人驾驶的飞机去执行这些任务。无人机是一种有无线电来操控的设备，遂有人称其为遥控驾驶航空器。它能够趋于完美的利用人工智能、信号处理和自动驾驶等精尖技术，并由于它具有体积小、无人驾驶和航程远等优势，在自然环境考察、科普研究、农业领域、维护国家主权与公共卫生安全等许多方面都有所应用，是当代的一大热点。

随着对无人机使用的普遍性，无人机的安全问题愈来愈严重，对于无人机的监管存在局限，因此屡次出现无人机事故，使得人们在对于无人机识别监测定位这一方面的技术愈来愈关注。

发明内容

针对现有技术的不足，本发明旨在提供一种基于RGB_D和深度卷积网络的无人机识别定位系统，可以实现对于区域内的无人机的自动识别，并实现对无人机的具体定位，识别与定位的精度高。解决了对于区域无人机安全问题，避免无人机所带来的影响。

为了实现上述目的，本发明采用如下技术方案：

一种基于RGB_D和深度卷积网络的无人机识别定位系统，包括摄像头监控模块、无人机识别模块、二维图像生成三维网格模块和RGB_D测距定位模块；

所述摄像头监控模块用于获取整个监控区域的图像；

所述无人机识别模块接收到摄像头监控模块获取的监控区域的图像，与预存的无人机图像特征进行匹配，识别监控区域中是否存在无人机；

二维图像生成三维网格模块用于当无人机识别模块识别出监控区域中存在无人机时，通过图卷积神经网络将摄像头监控模块获取的监控区域的图像生成三维网格图；

RGB_D测距定位模块用于当无人机识别模块识别出监控区域中存在无人机时，通过双目摄像头获取监控区域的RGB_D图像，并根据监控区域的RGB_D图像中无人机与双目摄像头颜色深度的关系计算得到两者之间的距离，结合三维网格图得到的无人机方向，实现对无人机的具体定位。

进一步地，所述摄像头监控模块包括若干摄像头，各个摄像头分别布置于监控区域的不同位置，所有摄像头的摄像范围加总起来涵盖整个监控区域。

进一步地，各个摄像头分散地环绕式安装，保证在任一摄像头的视角中能够看到该摄像头左右两侧相邻的摄像头。

本发明还提供一种利用上述系统进行无人机识别定位的方法，包括如下步骤：

S1、摄像头监控模块用于获取整个监控区域的图像；

S2、无人机识别模块接收到摄像头监控模块获取的监控区域的图像，与预存的无人机图像特征进行匹配，识别监控区域中是否存在无人机；

S3、当无人机识别模块识别出监控区域中存在无人机时，二维图像生成三维网格模块通过图卷积神经网络将摄像头监控模块获取的监控区域的图像生成三维网格图；RGB_D测距定位模块通过双目摄像头获取监控区域的RGB_D图像，并根据监控区域的RGB_D图像中无人机与双目摄像头颜色深度的关系计算得到两者之间的距离，结合三维网格图得到的无人机方向，实现对无人机的具体定位。

进一步地，步骤S1中，摄像头监控模块中所有摄像头均将获取的图像传输至无人机识别模块；步骤S2中，所述无人机识别模块对在同一时间点上所有摄像头采集的监控区域的各帧图像进行分析，同时将各帧图像与预存的无人机图像特征进行匹配，识别出各帧图像中是否出现无人机，从而确定在该时间点上监控区域是否出现无人机；步骤S3中，二维图像生成三维网格模块同时结合了所有摄像头在同一时间点上采集的监控区域的各帧图像计算生成整个监控区域的三维网格图。

进一步地，步骤S2中，所述预存的无人机图像特征的获得过程为：无人机自动识别模块中预存一组功能和设计都不相同的无人机图像并从中提取无人机图像特征。

进一步地，步骤S2中，所述二维图像生成三维网格模块具体通过一个多层的图卷积神经网络提取监控区域的图像的不同层次的特征，进而通过级联网格变形网络生成三维网格图。

进一步地，步骤S3中，RGB_D测距定位模块根据下式计算无人机和双目摄像头之间的距离：

其中，C1和C2表示无人机和双目摄像头的颜色，C1R和C2R分别表示无人机和双目摄像头的颜色的R通道，C1G和C2G分别表示无人机和双目摄像头的颜色的G通道，C1B和C2B分别表示无人机和双目摄像头的颜色的B通道。

本发明的有益效果在于：

1、本发明可以实现对无人机的区域性监控、自动识别与定位功能，且识别效率高、抗干扰性强。

2、本发明具体分为摄像头监控模块、无人机识别模块、二维图像生成三维网格模块、RGB_D测距定位模块，通过摄像头监控模块对监控区域的图像进行采集，同时通过无人机识别模块，将无人机从摄像头采集的图像中识别出来，同时通过图卷积神经网络处理图像，将监控区域以三维网格形式还原，结合生成的三维网格图得到无人机所在方向，RGB_D测距定位模块在RGB_D图像中计算出无人机与双目摄像头之间的距离，实现对于无人机的具体定位。在多个模块的共同作用下，实现对无人机的区域性监控、自动识别与定位功能。

附图说明

图1为本发明实施例1中的系统结构示意图；

图2为本发明实施例1中摄像监控模块中各摄像头布置平面示意图；

图3为本发明实施例1中级联网格变形网络的概述示意图；

图4为本发明实施例1中三维网格图中无人机定位示意图；

图5为本发明实施例2中的方法流程示意图。

具体实施方式

以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

实施例1

本实施例提供一种基于RGB_D和深度卷积网络的无人机识别定位系统，如图1所示，包括摄像头监控模块、无人机识别模块、二维图像生成三维网格模块和RGB_D测距定位模块；

所述摄像头监控模块用于获取整个监控区域的图像；

所述无人机识别模块接收到摄像头监控模块获取的监控区域的图像，与预存的无人机图像特征进行匹配，识别监控区域中是否存在无人机；

二维图像生成三维网格模块用于当无人机识别模块识别出监控区域中存在无人机时，通过图卷积神经网络将摄像头监控模块获取的监控区域的图像生成三维网格图；

RGB_D测距定位模块用于当无人机识别模块识别出监控区域中存在无人机时，通过双目摄像头获取监控区域的RGB_D图像，并根据监控区域的RGB_D图像中无人机与双目摄像头颜色深度的关系计算得到两者之间的距离，结合三维网格图得到的无人机方向，实现对无人机的具体定位。

进一步地，所述摄像头监控模块包括若干摄像头，各个摄像头分别布置于监控区域的不同位置，所有摄像头的摄像范围加总起来涵盖整个监控区域；

在本实施例中，如图2所示，所述摄像头监控模块包括有四个摄像头，通过四个摄像头的视角划分区域，可以对无人机进行区域性监控，实现采集监控区域的多角度视频图像，通过所有摄像头的视角加总实现监控区域的全覆盖。

更进一步地，可以通过各个摄像头的交叉视角实现监控区域的无缝覆盖。安装摄像头时，选择分散地环绕式安装，保证在任一摄像头的视角中可以看到该摄像头左右两侧相邻的摄像头。如图2所示，摄像头1处于较高位置改变其朝向，即可实现对于前方区域的监控，其监控视角内可以覆盖住左右两侧相邻的摄像头。其余的摄像头2、摄像头3和摄像头4布置与其相仿，高度与位置可以不一致，但需要保证视角内有左右两侧相邻的摄像头，这一布置可以通过调整各个摄像头的视角和方向来实现，保证了摄像头视角对监控区域的全覆盖。

当采用多个摄像头时，所述无人机识别模块是对在同一时间点上所有摄像头采集的监控区域的各帧图像进行分析，同时将各帧图像与预存的无人机图像特征进行匹配，实现对于无人机的自动识别。多角度的图像的同时匹配可以有助于进一步提高识别的准确性。

进一步地，无人机自动识别模块中预存一组功能和设计都不相同的无人机图像并从中提取无人机图像特征，进行识别时利用所提取的无人机图像特征对监控区域的图像依次进行图像识别、目标提取、特征分析、图像匹配，将无人机从监控区域的图像中识别出来，从而实现对于无人机的自动识别。

由于现有的无人机的功能和设计都不大一致，所以需要收集一组功能和设计都不相同的无人机图像来提取无人机图像特征，可以提高识别的准确性。

在实际应用中，无人机识别模块和摄像头监控模块同时进行识别和监控的工作，保证对无人机自动识别的高效性。

进一步地，所述二维图像生成三维网格模块具体通过一个多层的图卷积神经网络提取监控区域的图像的不同层次的特征，进而通过级联网格变形网络生成三维网格图，从而将监控区域的图像以三维网格的形式还原。生成的三维网格图用于测量计算需要的距离和角度参数。当采用多个摄像头进行监控区域的监控时，二维图像生成三维网格模块同时结合了所有摄像头不同角度的监控区域的图像计算生成整个监控区域的三维网格图，精度更高。

需要说明的是，二维图像生成的三维网格中，图像特征网络是从输入图像中提取感知特征的二维卷积神经网络，由级联网格变形网络利用提取的图像的不同层次的特征将椭球网格逐步变形为所需的三维网格模型。

级联网格变形网络是基于图的卷积网络，它包含三个变形块，变形块是由两个图层解体层相交形成。如图3所示，监控区域的图像作为输入图像，图像特征网络作为二维卷积神经网络，从输入图像中提取感知特征，并将提取的感知特征数据作为输入，由级联网格变形网络中的三个变形块从粗到细将椭球网格逐步变形为所需的三维网格模型。由级联网格变形网络利用图像的不同层次的特征将椭球网格逐步变形为所需的三维网格模型，生成高精度的三维网格图，将监控区域以三维网格形式还原。如图4所示，在还原的三维网格图中选无人机上一特征点P作为参考，摄像头各点A、B、C、D的实际坐标已知，结合距离与方向两个参数可以计算出无人机具体坐标，即可实现无人机的定位。

进一步地，所述RGB_D测距定位模块通过双目摄像头得到监控区域的RGB_D图像，分析无人机与双目摄像头的图像颜色深度，根据两者的颜色深度的关系计算出距离，结合三维网格图中得到的无人机方向实现对于无人机的定位。

需要说明的是，RGB_D图像其实是两幅图像：一个是普通的RGB三通道彩色图像，另一个是Depth图像。Depth图像类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。图像深度是确定彩色图像的每个像素可能有的颜色数，或者确定灰度图像的每个像素可能有的灰度级数。它决定了彩色图像中可出现的最多颜色数，或灰度图像中的最大灰度等级。物体在图像中不同的距离图像深度也不一样，可以根据两物体在RGB_D图像上的图像深度关系计算出他们之间的距离。

进一步地需要说明的是，颜色距离指的是两个颜色之间的差距，通常距离越大，两个颜色相差越大，反之，两个颜色越相近。在RGB空间内，可以得到两个颜色之间的距离为：

其中，C1和C2表示颜色1和颜色2，C1R和C2R分别表示颜色1和颜色2的R通道，C1G和C2G分别表示颜色1和颜色2的G通道，C1B和C2B分别表示颜色1和颜色2的B通道。

根据无人机与双目摄像头的颜色差得到两者间的距离。

实施例2

本实施例提供一种利用实施例1所述系统进行无人机识别定位的方法，如图5所示，包括如下步骤：

S1、摄像头监控模块用于获取整个监控区域的图像；

S2、无人机识别模块接收到摄像头监控模块获取的监控区域的图像，与预存的无人机图像特征进行匹配，识别监控区域中是否存在无人机；

S3、当无人机识别模块识别出监控区域中存在无人机时，二维图像生成三维网格模块通过图卷积神经网络将摄像头监控模块获取的监控区域的图像生成三维网格图；RGB_D测距定位模块通过双目摄像头获取监控区域的RGB_D图像，并根据监控区域的RGB_D图像中无人机与双目摄像头颜色深度的关系计算得到两者之间的距离，结合三维网格图得到的无人机方向，实现对无人机的具体定位。

进一步地，步骤S1中，摄像头监控模块中所有摄像头均将获取的图像传输至无人机识别模块；步骤S2中，所述无人机识别模块对在同一时间点上所有摄像头采集的监控区域的各帧图像进行分析，同时将各帧图像与预存的无人机图像特征进行匹配，识别出各帧图像中是否出现无人机，从而确定在该时间点上监控区域是否出现无人机；步骤S3中，二维图像生成三维网格模块同时结合了所有摄像头在同一时间点上采集的监控区域的各帧图像计算生成整个监控区域的三维网格图。

进一步地，步骤S2中，所述预存的无人机图像特征的获得过程为：无人机自动识别模块中预存一组功能和设计都不相同的无人机图像并从中提取无人机图像特征。

进一步地，步骤S2中，所述二维图像生成三维网格模块具体通过一个多层的图卷积神经网络提取监控区域的图像的不同层次的特征，进而通过级联网格变形网络生成三维网格图。

进一步地，步骤S3中，RGB_D测距定位模块根据下式计算无人机和双目摄像头之间的距离：

其中，C1和C2表示无人机和双目摄像头的颜色，C1R和C2R分别表示无人机和双目摄像头的颜色的R通道，C1G和C2G分别表示无人机和双目摄像头的颜色的G通道，C1B和C2B分别表示无人机和双目摄像头的颜色的B通道。

对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。