一种基于区域地图标识的机器人巡逻方法及机器人设备

摘要

本发明公开了一种基于区域地图标识的机器人巡逻方法,包含以下步骤：利用摄像头采集2D图像和/或深度图像、根据2D图像和/或深度图像，估计机器人的运动及空间3D地图、向用户显示得到的空间3D地图，并接收用户指定的区域地图信息及区域地图标识、接收和解析用户返回的巡逻指令并控制机器人按所述巡逻指令进行巡逻。本发明的基于区域地图标识的机器人巡逻方法及机器人设备，在机器人根据摄像头估计机器人的运动及空间3D地图的基础上，由用户协助构建区域地图信息及区域地图标识，实现灵活的配置机器人巡逻的区域、巡逻的顺序、巡逻的时间段和巡逻的周期，机器人还可以根据巡逻区域的位置和大小，寻找最佳巡逻地点，使机器人巡逻更高效。

说明书

技术领域

本发明涉及移动机器人室内巡逻技术领域，特别涉及一种基于区域地图标识的机器人巡逻方法及机器人设备。

背景技术

随着机器人相关技术的快速发展，人们对机器人的需求越来越高，特别是机器人的安保巡逻功能。在家庭中，当用户离开家时，用户会希望机器人能智能的进行巡逻。在大型工厂或车间中，当晚上无人值守的时候，也希望机器人能智能的进行巡逻，因此，机器人的安保巡逻技术也逐渐成为商家的研发重点。

现有技术中，申请号为CN201710417927、名称为：一种机器人自主巡逻方法的申请文件公开的技术方案中提供了一种基于激光雷达的2D地图巡逻方法，但是，该方法不能构建3D地图，也不能对空间中的固定区域进行定点巡逻，如不能对工厂的窗户等位置较高却需要特别巡查的地方进行定点巡逻，且现有技术中的机器人自主巡逻方法包括上述的方法中均还存在其他很多技术缺陷：如机器人不能自动定位和标识用户需要巡逻的区域、不能实现用户灵活的配置机器人巡逻的区域，以及巡逻的顺序、巡逻的时间段、巡逻的周期等、机器人巡逻效率较低等。

发明内容

本发明的目的是克服上述背景技术中不足，提供一种基于区域地图标识的机器人巡逻方法及机器人设备，在机器人根据摄像头估计机器人的运动及空间3D地图的基础上，由用户协助构建区域地图信息及区域地图标识，实现灵活的配置机器人巡逻的区域(包括2D区域和3D区域)、巡逻的顺序、巡逻的时间段和巡逻的周期，且当用户配置好巡逻的2D或3D区域后，机器人还可以根据2D或3D区域的位置和大小，寻找最佳巡逻地点，使机器人巡逻更高效。

为了达到上述的技术效果，本发明采取以下技术方案：

一种基于区域地图标识的机器人巡逻方法,包含以下步骤：

A.利用摄像头采集2D图像和/或深度图像；

B.根据所述2D图像和/或深度图像，估计机器人的运动及空间3D地图；

C.向用户显示得到的空间3D地图，并接收用户指定的区域地图信息及区域地图标识；

D.接收和解析用户返回的巡逻指令，并控制机器人按所述巡逻指令进行巡逻，其中，所述巡逻指令至少包含需要巡逻的区域地图标识。

进一步地，所述步骤B中具体包含：

B1.基于ORB特征的视觉里程计：获取ORB特征、根据适用的场景采用对应算法进行特征匹配、根据匹配好的点估计摄像头的运动；

B2.基于位姿图的后端优化：构建一个只有轨迹的图优化，位姿节点的之间的边由两个关键帧之间通过特征匹配之后得到的摄像头的运动估计来给定初始值；

B3.基于词袋模型的回环检测：基于关键帧和词袋模型，通过相似度计算进行回环检测，估计机器人的运动；

B4.稠密建图：使用三角网格、面片进行建图估计物体表面，或构建占据网格地图、八叉树地图进行导航得到空间3D地图。

进一步地，所述步骤C中的区域地图信息为2D平面区域或3D立体区域。

进一步地，所述步骤C中还包含机器人接收用户指定的区域地图信息及区域地图标识后机器人结合自身属性及2D平面区域或3D立体区域的属性判断最佳巡逻地点的步骤。

进一步地，所述机器人自身属性至少包含机器人的视野与高度、摄像头的位置、摄像头能否转动。

进一步地，所述2D平面区域分为位于水平面的区域及垂直于水平面的区域，

当区域地图信息为位于水平面的2D平面区域或3D立体区域时，则机器人根据2D平面区域的大小或3D立体区域的大小和高度判断是否需要进入区域内巡逻，并判断最佳巡逻地点；当区域地图信息为2D平面区域且垂直于水平面，则机器人根据2D平面区域的大小、朝向和高度判断最佳巡逻地点。

进一步地，所述最佳巡逻地点的评定标准为得到的机器人的视野范围刚好覆盖2D平面区域或3D立体区域的观测点。

进一步地，所述步骤D中的巡逻指令至少包含需要巡逻的区域地图标识、需要巡逻的区域地图标识的顺序、巡逻时间信息和/或巡逻周期信息。

同时，本发明还公开了一种基于区域地图标识进行巡逻的机器人设备，包含：用于采集2D图像和/或深度图像的摄像头模块、用于根据摄像头模块得到的2D图像和/或深度图像估计机器人的运动及空间3D地图的3D地图构建与定位模块、用于将3D地图构建与定位模块得到的空间3D地图显示给用户，并接收用户指定的区域地图信息及区域地图标识的区域地图信息及标识获取模块、用于接收和解析用户的巡逻指令并控制机器人按所述巡逻指令进行巡逻的巡逻信息接收及处理模块，其中，所述巡逻指令至少包含需要巡逻的区域地图标识。

进一步地，还包含通讯模块，所述通讯模块分别与3D地图构建与定位模块、区域地图信息及标识获取模块相连，通讯模块用于将3D地图构建与定位模块得到的空间3D地图发送给与之通信连接的用户终端，并接收用户终端返回的指定区域地图信息及区域地图标识，并将收到的指定区域地图信息及区域地图标识传递至区域地图信息及标识获取模块。

本发明与现有技术相比，具有以下的有益效果：

本发明的基于区域地图标识的机器人巡逻方法及机器人设备中，在机器人根据摄像头估计机器人的运动及空间3D地图的基础上，由用户协助构建区域地图信息及区域地图标识,实现了灵活的配置机器人巡逻的区域、巡逻的顺序、巡逻的时间段和巡逻的周期，且当用户配置好巡逻的2D或3D区域后，机器人还可以根据2D或3D区域的位置和大小，寻找最佳巡逻地点，使机器人巡逻更高效。

附图说明

图1是本发明的一个实施例的基于区域地图标识的机器人巡逻方法的流程示意图。

图2是本发明的一个实施例的基于区域地图标识进行巡逻的机器人设备的结构示意图。

具体实施方式

下面结合本发明的实施例对本发明作进一步的阐述和说明。

实施例：

实施例一：

如图1所示，一种基于区域地图标识的机器人巡逻方法，具体包括以下步骤：

步骤1，利用摄像头采集2D图像和/或深度图像。

步骤2，根据2D图像和/或深度图像，估计机器人的运动及空间3D地图。

在进行估计机器人的运动及空间3D地图时具体包含以下步骤：

第一步，基于ORB特征的视觉里程计：

ORB特征在保持特征子具有旋转、尺度不变性的同时，速度方面提升也很明显，可以满足实时性要求很高的即时定位与地图构建(SLAM)，提取ORB特征时具体需要：

-FAST角点提取：找出图像中的“角点”，具体只需比较像素亮度的大小。

-BRIEF描述子：对前一步提取出特征点的周围图像区域进行描述。

在获取到ORB特征后，根据适用的场景，考虑采用暴力匹配、快速近似近邻等算法进行特征匹配，以确定当前看到的路标与之前看到的路标之间的对应关系，然后根据匹配好的点估计相机的运动。

其中，如果采用RGB-D相机，则可根据像素的深度数据测量情况，自适应的混合使用PnP和ICP优化。

第二步，基于位姿图的后端优化：

前端视觉里程计能给出一个段时间内的轨迹和地图，但由于不可避免的误差累积，这个地图在长时间内是不准确的，因此，在本实施例中，采用在里程计的基础上构建一个尺度、规模更大的优化问题，以考虑长时间内的最优轨迹和地图，同时，为了保证计算效率，本实施例中采用基于位姿图的后端优化，其思路是：构建一个只有轨迹的图优化，位姿节点的之间的边，由两个关键帧之间通过特征匹配之后得到的运动估计来给定初始值。

其中，位姿图优化可采用高斯牛顿法、列文伯格-马夸尔特方法等求解，也可考虑采用因子图进行位姿图优化。

第三步，基于词袋模型的回环检测：

前端提供特征点的提取和轨迹、地图的初值，后端负责对所有这些数据进行优化，现有技术中的方法在构建机器人的运动轨迹和地图时一般仅考虑相邻时间上的关联，该方法的缺陷是导致之前产生的误差将不可避免地累积到下一个时刻使得整个SLAM出现累积误差，最终导致长期估计的结果不可靠，因此也无法构建全局一致的轨迹和地图。

本实施例中为了解决上述问题引入了回环检测，回环检测的关键是如何有效检测出摄像头经过同一个地方的问题，即如何计算图像间的相似性。

因此，我们引入了词袋，词袋目的是用“图像上有哪几个特征”来描述一幅图像，再归纳为单词，并由许多单词组成字典。而字典生成问题类似聚类问题。

为提升回环检测的效率，本实施例中还通过关键帧的选取机制进行优化。如果关键帧选的太近，将导致两个关键帧之间的相似度过高，相比之下不容易检测出历史数据的回环，因此，关键帧最好是稀疏的，彼此之间不太相同，又能覆盖整个环境。

基于关键帧和词袋模型，就可以通过相似度计算进行回环检测。且为预防引发感知偏差问题，作为优选，回环检测通常还需要包括验证步骤。

第四步，稠密建图：

使用三角网格(Mesh)、面片(Surfel)进行建图估计物体表面，或构建占据网格地图、八叉树地图进行导航。

步骤3，将空间3D地图显示给用户，并接收用户指定的区域地图信息及区域地图标识。

其中，区域地图信息为2D平面区域或3D立体区域。如：区域地图信息格式为(地图类型，区域类型，中心点，半径或边长，朝向)，具体的，

地图类型取值：0表示2D地图，1表示3D地图。

区域类型：0表示正方形或正方体，1表示圆形或球形。

中心点：取值(x,y,z)，表示中心点的三维坐标。

半径或边长：为具体数字，表示正方形或正方体的边长，或者圆形或球形的半径。

朝向：以(x，y，z)向量方式表达。

区域地图信息还可包含其他区域类型，也可以有不同的信息格式，实际中，可以根据具体的需要进行设计，且区域地图标识可以为任何逻辑上可标识区域地图的信息，如编号或名字。

同时，机器人将空间3D地图显示给用户的方法包括机器人自身自带显示屏的方法，即支持用户触屏交互，用户可以在机器人显示屏上划定区域地图信息，并设置区域地图标识。

同时，机器人将空间3D地图显示给用户的方法还包括将空间3D地图发送给用户终端，由用户在移动终端上指定区域地图信息及区域地图标识，再发送给机器人，此种方法要求机器人具有通信网络功能，能够与用户终端互联互通。用户终端可以为手机、PC等。

步骤4，接收和解析用户的巡逻指令，巡逻指令包含需要巡逻的区域地图标识，并控制机器人按所述巡逻指令进行巡逻。

巡逻指令还可以包括需要巡逻的区域地图标识的顺序、巡逻时间信息、巡逻周期信息等。且巡逻时间信息可以为任何逻辑上可指定时间段的信息，如绝对时间段起始信息或相对时间段起始信息或时间段长度信息等。

其中，绝对时间段起始信息如：时间起点2015年8月15号15点30分0秒，时间终点2015年8月15号16点0分0秒。

相对时间段起始信息如：如时间起点0秒，时间终点40分0秒，其中可约定相对时间参考点为接收到用户的巡逻指令的时刻。

巡逻周期信息为可以为任何逻辑上可指定周期的信息，如每隔10分钟巡逻一次。

同时，机器人按巡逻指令进行巡逻时，为了提升机器人的巡逻效率，节约时间和省电。本实施例中，在用户给定2D或3D区域后，机器人需要结合自身属性及2D或3D区域的属性判断最佳巡逻地点，机器人的自身属性包含摄像头视野与自身的高度、摄像头的位置、摄像头能否转动等。

且在本实施例中，将为2D平面区域分为位于水平面的为2D平面区域及垂直于水平面的2D平面区域。当区域地图信息为2D平面区域且位于水平面、或者当区域地图信息为3D立体区域时，则机器人根据2D平面区域的大小或3D立体区域的大小和高度判断是否需要进入区域内巡逻，并判断最佳巡逻地点；而当区域地图信息为2D平面区域且垂直于水平面，则机器人根据2D平面区域的大小、朝向和高度判断最佳巡逻地点。

一般在判断机器人最佳巡逻地点时，以摄像头的内参得到摄像头的视野范围刚好覆盖2D平面区域的观测点位置为最佳巡逻地点。

如当区域地图信息为2D平面区域且垂直于水平面，可根据2D平面区域的高度和朝向，确定机器人摄像头的仰望角度，并根据摄像头的内参得到摄像头的视野范围，以刚好覆盖2D平面区域的观测点位置为最佳巡逻地点。

因此，本发明的基于区域地图标识的机器人巡逻方法，在机器人根据摄像头估计机器人的运动及空间3D地图的基础上，可由用户协助构建区域地图信息及区域地图标识,实现了灵活的配置机器人巡逻的区域(包括2D区域和3D区域)、巡逻的顺序、巡逻的时间段和巡逻的周期，且当用户配置好巡逻的2D或3D区域后，机器人还可以根据2D或3D区域的位置和大小，寻找最佳巡逻地点，使机器人巡逻更高效。

实施例二

如图2所示，一种基于区域地图标识进行巡逻的机器人设备，包含依次相连的以下模块：

摄像头模块、3D地图构建与定位模块、区域地图信息及标识获取模块、巡逻信息接收及处理模块。

其中，摄像头模块用于采集2D图像和/或深度图像，3D地图构建与定位模块用于根据摄像头模块得到的2D图像和/或深度图像，并估计机器人的运动及空间3D地图，区域地图信息及标识获取模块用于将3D地图构建与定位模块得到的空间3D地图显示给用户，并接收用户指定的区域地图信息及区域地图标识，巡逻信息接收及处理模块用于接收和解析用户的巡逻指令，并控制机器人按所述巡逻指令进行巡逻。

工作时，先由摄像头模块采集2D图像和/或深度图像，然后摄像头模块将采集的图像信息传递至3D地图构建与定位模块，3D地图构建与定位模块根据2D图像和/或深度图像，估计机器人的运动及空间3D地图，然后再由区域地图信息及标识获取模块将3D地图构建与定位模块得到的空间3D地图显示给用户，并接收用户指定的区域地图信息及区域地图标识，最后由巡逻信息接收及处理模块接收和解析用户的巡逻指令，并控制机器人按所述巡逻指令进行巡逻。

具体的，当3D地图构建与定位模块根据2D图像和/或深度图像，估计机器人的运动及空间3D地图时，具体采用基于ORB特征的视觉里程计、基于位姿图的后端优化、基于词袋模型的回环检测和稠密建图的方法步骤。

其中，区域地图信息及标识接收到的用户指定的区域地图信息为2D平面区域或3D立体区域，且巡逻信息接收及处理模块接收到的巡逻指令包含需要巡逻的区域地图标识、需要巡逻的区域地图标识的顺序、巡逻时间信息、巡逻周期信息等。

且机器人按所述巡逻指令进行巡逻时，为了提升机器人的巡逻效率，节约时间和省电，用户给定2D或3D区域后，需要结合自身属性及2D或3D区域的属性判断最佳巡逻地点。其中，机器人的视野与自身的高度、摄像头的位置、摄像头能否转动都均相关。

具体的，当所述区域地图信息为2D平面区域且位于水平面、或者当所述区域地图信息为3D立体区域时，则机器人根据2D平面区域的大小或3D立体区域的大小和高度判断是否需要进入区域内巡逻，并判断最佳巡逻地点；当所述区域地图信息为2D平面区域且垂直于水平面，则机器人根据2D平面区域的大小、朝向和高度判断最佳巡逻地点。

作为优选，机器人将空间3D地图显示给用户的方法还包括将空间3D地图发送给用户终端，由用户在移动终端上指定区域地图信息及区域地图标识，再发送给机器人，因此，在本实施例的基于区域地图标识进行巡逻的机器人设备还设有通讯模块，通讯模块分别与3D地图构建与定位模块、区域地图信息及标识获取模块相连，通讯模块用于将3D地图构建与定位模块得到的空间3D地图发送给与之通信连接的用户终端，并接收用户终端返回的指定区域地图信息及区域地图标识，并将收到的指定区域地图信息及区域地图标识传递至区域地图信息及标识获取模块。其中，用户终端可以为手机、PC等。

需要说明的是，本实施例中的各模块(或单元)是逻辑意义上的，具体实现时，多个模块(或单元)可以合并成一个模块(或单元)，一个模块(或单元)也可以拆分成多个模块(或单元)。

且本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，该程序在执行时，可包括如上各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。