一种基于手势的移动机器人控制方法

摘要

一种基于手势的移动机器人控制方法，步骤实现：选择适当的控制终端设备和移动机器人，建立移动机器人控制系统；将操作员在控制终端触摸屏上所作的手势映射为移动机器人运动控制指令并发送给移动机器人，移动机器人按运动控制指令实现运动。本发明具有以下优势：利用手势实现对移动机器人的运动控制，操作直观简便，符合人操作习惯；能简化移动机器人控制终端，减小体积重量，便于携带运输。

说明书

技术领域

本发明涉及一种基于手势的移动机器人控制方法，主要是将在触屏设备上 的手势操作映射为移动机器人、移动机器人上搭载的云台和云台上搭载的摄像 机的控制指令，实现利用手势控制移动机器人、云台和摄像机运动的目的，属 于移动机器人人机交互控制技术领域。

背景技术

由于环境复杂，系统处理信息能力有限，目前移动机器人主要依靠操作人 员手动操作控制。

传统的移动机器人控制方法主要有两种，一种是在控制盒面板上使用操纵 杆（或摇杆）结合按键对机器人进行控制。其优点是形象直观，缺点是控制盒 体型庞大，影响便携运输及操作使用；另一种是在计算机软件界面上使用按钮 结合外接操纵杆（或摇杆）对机器人进行控制。其优点是省去了部分控制盒面 板的空间，缺点是操作复杂，无法摆脱对操纵杆的依赖。

因此，传统的移动机器人控制方法，操作难度大，不便于操作人员的携带 和运输，因而在对移动机器人直接控制时受到局限。

发明内容

本发明的技术解决问题：针对现有移动机器人控制终端体形庞大、操作复 杂的问题，提供一种利用在触屏设备上的手势操作直接控制移动机器人的方 法。该方法可以简化控制终端设备，使之便于携带；利用手势控制移动机器人， 更加符合人的操作习惯，简化操作，可以让操作人员更加方便的控制移动机器 人运动。

本发明基于手势的移动机器人控制方法是在以下硬件载体上实现的：具有 触摸显示屏的控制终端设备以及移动机器人。以上硬件的连接方式如图1所示： 将在控制终端设备触摸显示屏上的操作映射为移动机器人的运动控制指令，并 发送给移动机器人，移动机器人执行该控制指令；移动机器人上搭载的摄像机 拍摄环境视频，反馈到控制终端设备显示屏显示，以便操作人员观察操作。

其中，控制终端设备可选用平板电脑。平板电脑作为悉知的触摸输入设备， 具有完整的计算机的功能，可以将已编译好的软件在平板电脑上运行，并能实 现与机器人的信息交互。

其中，移动机器人可选用轮式或履带机器人，移动机器人上安装两自由度 云台和变焦摄像机，云台的俯仰角和偏转角以及变焦摄像机的焦距可通过指令 进行控制。

本发明基于手势的移动机器人控制方法，其控制方法流程框图如图2所示， 由以下具体步骤实现：

（1）建立移动机器人控制系统，实现为：

（1.1）选择具有触摸功能的计算显示设备作为控制终端设备；

（1.2）控制对象为移动机器人，该移动机器人上搭载的设备至少包括两自 由度云台和云台上搭载的变焦摄像机；

（1.3）建立控制终端设备与移动机器人的通讯通道；

（1.4）在控制终端设备上显示摄像机拍摄的视频图像；

（2）建立手势与移动机器人运动状态的映射关系，所述映射关系为：

（2.1）当仅有一个手指触摸屏幕并在屏幕上视频图像的有效显示区域滑动 时，如图3所示，手指滑动动作映射为对云台的控制指令，具体为：

（2.1.1）当手指在屏幕上滑动距离超过预定阈值时，开始产生对云台的控 制指令；

（2.1.2）手指在屏幕上水平方向和竖直方向的滑动分量分别映射为对云台 偏转角和俯仰角的控制。云台偏转角改变方向与手指水平滑动分量方向相同； 云台俯仰角改变方向与手指竖直滑动分量方向相同；

（2.1.3）当手指离开屏幕，停止对云台的控制；

（2.2）当仅有一个手指触摸屏幕并在屏幕上视频图像的有效显示区域双击 时，如图4所示，云台产生复位动作，回到初始位置；

（2.3）当有两个手指触摸屏幕并在屏幕上视频图像的有效显示区域都产生 滑动时，如图5所示，手指滑动动作映射为对摄像机焦距的控制指令，具体为：

（2.3.1）当两个手指在屏幕上的相对距离变化超过预定阈值时，开始产生 对摄像机焦距的控制指令；

（2.3.2）当两手指相对距离增加时，即两手指分离运动时，表示对当前图 像进行放大操作，控制摄像机焦距增加以拉近观察；

（2.3.3）当两手指相对距离减小时，即两手指相向运动时，表示对当前图 像进行缩小操作，控制摄像机焦距变小以增加观察视野；

（2.3.4）当两手指停止运动或离开屏幕时，停止对摄像机焦距的控制；

（2.4）当有两个手指触摸屏幕，但只有一个手指在屏幕上视频图像的有效 显示区域产生滑动而另外一手指静止不动时，如图6所示，手指滑动动作映射 为对移动机器人的运动控制指令，具体为：

（2.4.1）当一个手指触摸屏幕静止不动而另一个手指在屏幕上滑动距离超 过预定阈值时，开始产生对移动机器人的运动控制指令；

（2.4.2）以滑动手指的初始触摸点为原点，以滑动手指滑动中的触摸点为 终点建立矢量，滑动的距离映射为对移动机器人移动速率或者转动速率的控 制，矢量的方向映射为对移动机器人运动方向的控制：当矢量方向与屏幕竖直 方向的夹角小于设定阈值时，移动机器人向前或向后移动；当矢量方向与屏幕 水平方向的夹角小于设定阈值时，移动机器人原地转向或平行侧向移动；当矢 量方向与屏幕水平方向和竖直方向的夹角都不小于设定阈值时，移动机器人在 行进过程中产生转向或侧向移动；

（2.4.3）当有一个手指离开屏幕时，停止对移动机器人的运动控制，移动 机器人停止运动。

本发明与现有技术相比的优点在于：传统移动机器人的控制盒包含操纵 杆、控制按键与显示屏等部件，控制盒较重且体积庞大，不便于操作人员的携 带和运输。本发明技术方案利用手势实现对移动机器人的交互控制，可以省去 控制盒上操纵杆和按键等部件，简化控制盒组成，有效增加显示面积，既有助 于操作人员对移动机器人进行操作监控，也有助于操作人员进行背负运输。同 时利用手势控制移动机器人方便直观，操作简单；触屏设备方便携带，也扩大 了本发明的适用范围。另外，触屏设备的大规模普及，使本发明具有广泛应用 前景。

附图说明

图1为本发明方法实现的硬件连接示意图；

图2为本发明方法的控制流程框图；

图3为滑动手势示意图；

图4为双击手势示意图；

图5为缩放手势示意图；

图6为拖动手势示意图。

具体实施方式

下面通过具体实施例结合所选用的具体硬件载体对本发明基于手势的移 动机器人控制方法进行详细叙述，如图1-6所示。

（1）建立移动机器人控制系统；

具体为：选择预定的控制终端设备，本发明实施例采用ViewSonic公司的 ViewPad97i平板电脑作为控制终端设备，选择一台无线路由器作为信息交互 设备，选择北京博创公司生产的UP-Voyager II双轮驱动机器人作为被控制移 动机器人，并在该移动机器人上搭载索尼EVI-D80P摄像头作为被控制云台和 摄像机。控制终端设备通过无线路由器实现与移动机器人的信息交互。在 Windows XP操作系统下，利用Microsoft公司的Visual C++开发的平板电脑控 制程序对移动机器人进行控制。控制终端设备上的手势与移动机器人运动状态 的映射变换由该控制程序完成。

（2）当上述移动机器人控制系统建立完毕后，建立手势与移动机器人运 动状态的映射关系，所述映射关系为：

（2.1）当仅有一个手指触摸屏幕并在屏幕上视频图像的有效显示区域滑动 时，如图3所示，手指滑动动作映射为对云台的控制指令，具体为：

（2.1.1）当手指在屏幕上滑动距离超过预定阈值R₁时，开始产生对云台的 控制指令。此处，R₁=30像素；

（2.1.2）手指在屏幕上竖直方向的滑动分量映射为对云台俯仰角的控制， 俯仰角θ₁＝k₁×y，云台俯仰角变化的方向与手指竖直滑动分量方向相同； 手指在屏幕上水平方向的滑动分量映射为对云台偏转角的控制，偏转角 θ₂＝k₂×x，云台偏转角变化的方向与手指水平滑动分量方向相同。此处，y， x分别为手指在屏幕上的竖直和水平方向的滑动分量，k₁，k₂分别为云台俯仰 角增益系数和偏转角增益系数。此处，k₁=k₂=0.216；

（2.1.3）当手指离开屏幕，停止对云台的控制；

（2.2）当仅有一个手指触摸屏幕并在屏幕上视频图像的有效显示区域双击 时，如图4所示，云台产生复位动作，回到初始位置；

（2.3）当有两个手指触摸屏幕并在屏幕上视频图像的有效显示区域都产生 滑动时，如图5所示，手指滑动动作映射为对摄像机焦距的控制指令，具体为：

（2.3.1）当两个手指在屏幕上的相对距离变化超过预定阈值R₂时，开始产 生对摄像机焦距的控制指令。此处，R₂=30像素；

（2.3.2）当两手指相对距离增加时，即两手指分离运动时，表示对当前图 像进行放大操作，控制摄像机焦距增加以拉近观察；

（2.3.3）当两手指相对距离减小时，即两手指相向运动时，表示对当前图 像进行缩小操作，控制摄像机焦距变小以增加观察视野；

（2.3.4）当两手指停止运动或离开屏幕时，停止对摄像机焦距的控制；

（2.4）当有两个手指触摸屏幕，但只有一个手指在屏幕上视频图像的有效 显示区域产生滑动而另外一手指静止不动时，如图6所示，手指滑动动作映射 为对移动机器人的运动控制指令，具体为：

（2.4.1）当一个手指触摸屏幕静止不动而另一个手指在屏幕上滑动距离超 过预定阈值R₃时，开始产生对移动机器人的运动控制指令。此处，R₃=30像素。

（2.4.2）以滑动手指的初始触摸点为原点，以滑动手指滑动中的触摸点为 终点建立矢量，滑动的距离映射为对移动机器人移动速率或者转动速率的控 制，移动速率或转动速率v＝k₃×l，矢量的方向映射为移动机器人方向的控 制：当矢量方向与屏幕竖直方向的夹角小于设定阈值α时，移动机器人向前或 向后移动；当矢量方向与屏幕水平方向的夹角小于设定阈值β时，移动机器人 原地转向或平行侧向移动；当矢量方向与水平方向和竖直方向的夹角都不小于 设定阈值时，移动机器人在行进过程中产生转向。其中，l为滑动手指移动的 距离，k₃为速率增益系数。此处，k₃=0.53，α＝β=5°；

（2.4.3）当有一个手指离开屏幕时，停止对移动机器人的运动控制，移动 机器人停止运动。

总之，本发明具有以下优势：利用手势实现对移动机器人的运动控制，操 作直观简便，符合人操作习惯；能简化移动机器人控制终端，减小体积重量， 便于携带运输。

本发明说明书未详细阐述部分属于本领域技术人员的公知技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通 技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰， 这些改进和润饰也应视为本发明的保护范围。