一种深度视觉相机与激光雷达融合导航的机器人

摘要

本发明公开了一种深度视觉相机与激光雷达融合导航的机器人，包括：行走系统；控制系统，用于控制行走系统；驱动板，用于连接行走系统和控制系统，将控制系统的指令下发至行走系统并将行走系统反馈的信息上报至控制系统；电池，为所述机器人供电；机架，用于承载行走系统、控制系统、驱动板以及电池；所述行走系统包括用于构建地图、规划行走路径导航系统和用于按规划好的行走路径驱动所述机器人到达目的地的运动系统；所述导航系统包括深度视觉相机和激光雷达。支持多种算法建图，配合搭载的激光雷达和深度视觉相机作为导航传感器，可实现多数据多传感器融合，从而降低导航系统造价，提高导航精度和准确性。

说明书

技术领域

本发明涉及一种智能设备，尤其是一种深度视觉相机与激光雷达系统融合导航机器人。

背景技术

目前各类工业机器人、服务型机器人已经广泛应用于社会生产、生活的各个方面，为生产生活带来了极大的便捷。其中应用最广泛的是应用于各类搬运、巡检、清扫等应用场景的机器人设备。在机器人设计开发领域中，机器人自动行走系统是各类机器人产品开发的重点，直接影响机器人行走路线规划、自动导航、自动巡航等功能。

市场现有机器人有以下缺点：1、自动行走系统通过搭载大量激光传感器、红外传感器、超声波传感器、碰撞传感器等辅助设备进行目标定位、物体识别、距离感知等功能，造成机器人自动行走系统价格高昂，体积庞大等缺点，使得用户在考虑应用场景和实际投入产出比后往往由于其高昂的价格而放弃使用，影响了机器人产品在生产、生活中的应用推广。2、自动行走系统往往基于单一应用场景或地形地貌进行开发，无法满足各类尺寸和场地的不同应用场景和地形地貌使用，同时，该类产品几乎不支持用于进行扩展开发和应用创新开发。3、自动行走系统在导航算法方面也比较单一，在部分场景中会出现导航偏差等问题。

发明内容

有鉴于此，本发明提供一种深度视觉相机与激光雷达融合导航的机器人，旨在降低行走系统的成本，提高导航精确度。

为解决以上技术问题，本发明的技术方案为采用一种深度视觉相机与激光雷达融合导航的机器人，包括：行走系统；控制系统，用于控制行走系统；驱动板，用于连接行走系统和控制系统，将控制系统的指令下发至行走系统并将行走系统反馈的信息上报至控制系统；电池，为所述机器人供电；机架，用于承载行走系统、控制系统、驱动板以及电池；所述行走系统包括用于构建地图、规划行走路径导航系统和用于按规划好的行走路径驱动所述机器人到达目的地的运动系统；所述导航系统包括深度视觉相机和激光雷达。

作为一种改进，所述深度视觉相机和激光雷达可获取信息，控制系统根据该信息生成地图；控制系统在生成的地图中对自身即时位置进行定位，并规划从自身即时位置到目的地的行走路径；控制系统控制运动系统根据行走路径驱动所述机器人到达目的地。

作为一种进一步的改进，生成地图的步骤包括：S11控制系统设定粒子数量，并通过激光雷达将粒子平均分布在规划区域内；S12控制系统根据状态转移方程对每个粒子进行状态估计，从而产生与之对应的预测粒子；S13控制系统将深度视觉相机采集到的信息与激光雷达采集到的信息进行叠加获得更精确的预测粒子，并对预测粒子进行评价并赋予相应的权重，权重大小和其与真实值的差距成反比，即与真实值的差距越小权重越大；S14控制系统对预测粒子进行筛选，保留权重大于设定值的预测粒子，部分保留权重小于设定值的预测粒子，并添加新的预测粒子使得预测粒子的总量不变；S15控制根据状态转移方程对筛选后的预测粒子进行状态估计，从而产生与之对应的新的预测粒子；进行步骤S13；进行步骤S14；循环进行步骤S15；S16选取最优预测粒子，利用激光雷达采集的信息构建2D地图，并在按照2D地图运动的过程中利用深度视觉相机采集的信息构建3D地图。

作为另一种更进一步的改进，所述驱动板内置有驱动运动系统的驱动程序，并预留有插接运动系统电机接口、舵机接口、电源接口。

作为一种改进，所述运动系统包括阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统中的一种，所述机架上预留有安装阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统的螺孔；所述驱动板上内置有阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统的驱动程序，并预留有阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统的电机接口、舵机接口和电源插口。

作为一种改进，还包括识别系统，所述识别系统包括摄像头；所述摄像头通过驱动板与控制系统连接，可进行人脸识别、人体识别、物体识别。

作为一种改进，所述人脸识别包括：将摄像头采集到的人脸图片存储到控制系统；控制系统提取人脸特征；根据同一人脸的若干张图片提取的特征计算128D特征值，并计算出该人脸的128D特征均值；对摄像头实时采集到的人脸图片提取特征并计算128D特征值，将实时采集到的人脸图片128D特征值与存储的人脸128D特征均值进行比较判断是否为同一人脸。

作为一种改进，所述人体和物体识别包括：控制系统将摄像头采集到的人体或者物体图片进行预处理，所述预处理包括编码、阈值运算、模式改善、正规化和离散模式运算；提取人体或者物体特有的特征，包括形状特征、纹理特征、颜色特征；选择人体或者物体特有特征进行建模并训练；利用训练好的模型识别人体或者物体。

作为一种改进，所述机架包括顶板和底板，所述顶板和底板之间利用立柱连接。

作为一种改进，所述控制系统设置在顶板顶面，所述激光雷达设置在顶板顶面位于控制系统前方，所述深度视觉相机设置在顶板顶面位于激光雷达前方并高于激光雷达；所述驱动板利用连接杆设置在顶板底面；所述电池以及运动系统设置在底板上。

本发明的有益之处在于：

(1)采用主流人工智能学习平台进行上位机设计，相比市场大部分同类产品使用的树莓派平台具有更强的计算能力和更快的处理速度，保障所研机器人性能更强，运行更流畅；

(2)在自主导航方面，支持多种算法建图，配合搭载的多类传感器设备，可实现多数据多传感器融合；

(3)搭载多种人工智能算法图像，具备图像处理功能，可进行人脸检测、人体检测、物体检测等功能开发，支持多种人脸识别算法和目标检测与分类算法；

(4)利用深度相机获取场景深度图像数据，可进行融合点云数据获取等功能，配合激光雷达进行精准导航；

(5)可根据应用场景随时进行多种底盘更换，兼容两轮、四驱、麦克纳姆轮、履带轮和阿克曼转向结构等多种底盘和车型；

(6)分层、分模块的设计结构可有效应用于教学场景，使学生根据自己需要进行模块更换、外设开发和应用开发，同时该机器人可作为各类人工智能算法学习和验证平台供师生使用，对于机械、电子、通信、电信、物联网、人工智能等各专业课程均适用。

(7)在工程应用领域，可根据实际需求进行不同应用扩展和功能开发，也可将该机器人作为底盘，搭载机械臂、机械手等外设进行更丰富的新型机器人产品开发。

附图说明

图1为本发明的结构示意图。

图中标记：1机架、2控制系统、3驱动板、4运动系统、5激光雷达、6深度视觉相机、7摄像头、8电池、11顶板、12立柱、13底板。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合具体实施方式对本发明作进一步的详细说明。

如图1本发明包括：

行走系统，所述行走系统包括用于构建地图、规划行走路径导航系统和用于按规划好的行走路径驱动所述机器人到达目的地的运动系统；所述导航系统包括深度视觉相机6和激光雷达5。运动系统4包括阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统中的一种，可以根据地形和应用场景进行随时更换。

本实施例中，激光雷达5采用思岚A1激光雷达，该雷达测量范围半径为0.15米至12米，基本满足除大型空旷场景以外的任何场景使用需求，主要进行雷达数据读取、驱动开发和SLAM导航建模等工作。为将激光雷达扫描输出的电信号转换为上位机可识别的标准接口数据，拟开发激光数据转换器模块将电信化转化为二级制数据并通过USB接口与上位机进行数据传输。

深度视觉相机4采用奥比中光astra pro深度相机，该摄像机工作范围为0.6米至8米，基本满足各类场景需求，可通过USB将相机识别数据与上位机进行直接通信，主要用于RGBD导航、视觉跟随、视觉识别、视觉巡线等功能的开发。

识别系统，所述识别系统包括摄像头7；所述摄像头7通过驱动板3与控制系统2连接，可进行人脸识别、人体识别、物体识别。

控制系统2，用于控制行走系统和识别系统。本实施例中，控制系统选用的是NIVIDA Jetson Nano小型计算机，该计算机支持边缘AI应用程序和设备开发，并搭载深度学习、计算机视觉、图形、多媒体加速库，有助于机器人各类算法的开发。该小型计算机将搭载Ubuntu操作系统，自主安装melodic版本ROS系统，主要进行ROS机器人控制系统开发及视觉识别、自主建图和导航路径决策等功能的开发。

驱动板3，用于连接行走系统和控制系统2，将控制系统2的指令下发至行走系统并将行走系统反馈的信息上报至控制系统2；也用于连接识别系统和控制系统2，将控制系统2的指令下发至识别系统并将识别系统反馈的信息上报至控制系统2。驱动板内置有驱动运动系统的驱动程序，并预留有插接运动系统电机接口、舵机接口、电源接口以及摄像头插口。具体地，所述驱动板上内置有阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统的驱动程序，并预留有阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统的电机接口、舵机接口和电源插口。

本实施例中，驱动板3基于STM32单片机进行自主开发，驱动板MCU将选用STM32F103RCT6，板载MPU6050 IMU角速度陀螺仪传感器，支持4路直流电机闭环驱动控制，一路超声波传感器控制，两路舵机驱动控制，一路温湿度传感器，一路蓝牙控制，SWD固件程序烧录口，其余IO接口以排针、串口线等方式引出以供用户二次开发使用。下位机主要进行电源控制、IMU数据读取、电机驱动开发、舵机驱动开发等工作，与上位机之间采用串口通信转USB通信的方式进行数据交互，下位机主要作用为将上位机的决策进行有效执行。

电池8，为所述机器人供电。

机架1，用于承载行走系统、识别系统、控制系统2、驱动板3以及电池8；机架包括顶板11和底板13，所述顶板11和底板13之间利用立柱12连接。控制系统2设置在顶板11顶面，所述激光雷达5设置在顶板11顶面位于控制系统2前方，所述深度视觉相机6和摄像头7设置在顶板11顶面位于激光雷达5前方并高于激光雷达5；所述驱动板3利用连接杆设置在顶板11底面；所述电池8以及运动系统4设置在底板13上。机架1的底板13上预留有安装阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统的螺孔。

另外，本发明还可以搭载工业级5G通信模组，可通过5G信道与外界进行通信。与物联网平台实现了对接，在云端可与任何物联网设备进行数据通信和指令通信，方便用户在云端进行数据管理和设备管理。借助5G通信和物联网平台的力量可实时与平台接入的任何物联网设备进行数据交互，也可通过平台利用5G通信协议直接对机器人下达任务指令，也可通过平台利用5G通信协议将机器人与其他物联网设备、智能设备进行联动控制。

本发明采用分层、分块结构设计，即将控制系统、驱动板、导航传感器、电机、舵机、摄像头等多个部分分层、分块设计开发，各部分之间采用串口总线通信，方便安装的同时，也可灵活的根据需要增加额外设备；在功能方面，底盘下位机可以支持阿克曼转向、两轮差速转向、坦克履带、麦克纳姆轮等4种不同驱动方式，用户可根据需要随时替换。在导航机制方面，也支持单一激光雷达导航、单一深度视觉相机导航、激光雷达+深度视觉相机导航等多种方式，用户可根据需要进行不同配置。

导航系统进行导航的过程如下：

S1所述深度视觉相机和激光雷达可获取信息，控制系统根据该信息生成地图；其具体步骤又包括：

S11控制系统设定粒子数量，并通过激光雷达将粒子平均分布在规划区域内；

S12控制系统根据状态转移方程对每个粒子进行状态估计，从而产生与之对应的预测粒子；

S13控制系统将深度视觉相机采集到的信息与激光雷达采集到的信息进行叠加获得更精确的预测粒子，并对预测粒子进行评价并赋予相应的权重，权重大小和其与真实值的差距成反比，即与真实值的差距越小权重越大；

S14控制系统对预测粒子进行筛选，保留权重大于设定值的预测粒子，部分保留权重小于设定值的预测粒子，并添加新的预测粒子使得预测粒子的总量不变；

S15控制根据状态转移方程对筛选后的预测粒子进行状态估计，从而产生与之对应的新的预测粒子；进行步骤S13；进行步骤S14；

循环进行步骤S15；

S16选取最优预测粒子，利用激光雷达采集的信息构建2D地图，并在按照2D地图运动的过程中利用深度视觉相机采集的信息构建3D地图。

S2控制系统在生成的地图中对自身即时位置进行定位，并规划从自身即时位置到目的地的行走路径。

S3控制系统控制运动系统根据行走路径驱动所述机器人到达目的地。

识别系统进行人脸识别的步骤包括：

S1将摄像头采集到的人脸图片存储到控制系统；

S2控制系统提取人脸特征，根据同一人脸的若干张图片提取的特征计算128D特征值，并计算出该人脸的128D特征均值；

S3对摄像头实时采集到的人脸图片提取特征并计算128D特征值；

S4将实时采集到的人脸图片128D特征值与存储的人脸128D特征均值进行欧式距离计算，比较判断是否为同一人脸。

识别系统进行人体和物体识别的步骤包括：

控制系统将摄像头采集到的人体或者物体图片进行预处理，所述预处理包括编码、阈值运算、模式改善、正规化和离散模式运算；其目的在于在不改变图像承载的本质信息的前提下，使每张图像的表观特性尽可能一直，以便于后续处理。

提取人体或者物体特有的特征，包括形状特征、纹理特征、颜色特征；提取代表该模式特有的性质。提取人体或物体的主要特征点和不同于其他图像的根本属性点并进行存储。

选择人体或者物体特有特征进行建模并训练；

利用训练好的模型识别人体或者物体。运用已建模的模型去识别新的图像属于哪一类物体(人体)，并给出边界，将物体(人体)与图像的其他部分分隔开。

以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。