基于双目立体视觉的机器人遥操作辅助系统

摘要

本发明公开了一种基于双目立体视觉的机器人遥操作辅助方法，包括如下步骤：图像数据输出步骤：通过测量相机将数字图像数据输出至图像测量处理器，且同时通过监视相机将数字图像数据输出至立体显示处理器；图像数据处理步骤：所述图像测量处理器接收所述测量相机的图像数据后进行计算，计算出指定目标的相对位姿，并传输至立体显示处理器和机器人主控系统，所述立体显示处理器接收所述监视相机的图像数据进行极线校正，并将监视相机的图像数据传输至所述立体显示设备；图像数据显示步骤：所述立体显示设备将所述立体显示处理器输出的图像数据进行显示，供操作者观看。本发明测量精度高、视场大、容易搜索目标。

说明书

技术领域

本发明涉及双目立体视觉测量、显示技术，是一种基于双目立体视觉的机器人遥操作辅助方法及系统。

背景技术

遥操作机器人能协助操作人员完成各种任务，尤其不适合人员现场操作的恶劣环境下，需要遥操作机器人代替人工操作。遥操作的一个重要环节是对环境及目标态势的感知。视觉传感器是机器人感知环境的关键，一般的二维图像传感器无法感知环境深度信息，需要结合激光测距等其他传感器使用，结构较复杂。一般机器人视觉传感器反馈的二维图像信息不能完整的描述三维环境，同样一般的遥操作交互媒介也无法表达真实的三维信息，无法使操作人员达到身临其境的体验感。现有双目立体视觉系统功能单一，如果要求其视场大，则精度不够；而要求测量精度高，其视场就小，难以搜索目标。

发明内容

本发明旨在克服现有技术的缺陷，提供一种基于双目立体视觉的机器人遥操作辅助方法及系统。

为实现上述目的，本发明采用以下技术方案：

提供一种基于双目立体视觉的机器人遥操作辅助方法，包括如下步骤：

图像数据输出步骤：通过测量相机将数字图像数据输出至图像测量处理器，且同时通过监视相机将数字图像数据输出至立体显示处理器；

图像数据处理步骤：所述图像测量处理器接收所述测量相机的图像数据后进行计算，计算出指定目标的相对位姿，并传输至立体显示处理器和机器人主控系统，所述立体显示处理器接收所述监视相机的图像数据进行极线校正，并将监视相机的图像数据传输至所述立体显示设备；

图像数据显示步骤：所述立体显示设备将所述立体显示处理器输出的图像数据进行显示。

图像数据输出步骤中：

所述测量相机包括左测量相机和右测量相机，且所述左测量相机与右测量相机之间设置所述左监视相机和右监视相机；

通过所述左测量相机和右测量相机将数字图像数据输出至图像测量处理器，且同时通过所述左监视相机和右监视相机将数字图像数据输出至立体显示处理器。

图像数据输出步骤中：

所述测量相机按照图像测量处理器输出的传感器驱动时序将数字图像数据输出至图像测量处理器；所述监视相机按照立体显示处理器输出的传感器驱动时序，将数字图像数据输出至立体显示处理器。

所述立体显示设备包括立体显示头盔和立体显示电视，根据实际需求将所述立体显示处理器输出的图像数据在立体显示头盔或立体显示电视上显示。

所述显示头盔将所述左监视相机和右监视相机图像合成1920×1080大小图像，通过HDMI接口送入所述显示头盔头盔中的LED液晶显示屏进行显示。

图像数据处理步骤中：

所述图像测量处理器通过处理器对所述左测量相机和右测量相机输出的数字图像数据进行双线程计算，并设置左图像传感器和右图像传感器按照4帧/秒、分辨率为1920×1200输出图像数据；

将所述数字图像数据存储在同步态随机存储器中，供姿态测量使用；

所述图像测量处理器对接收的测量相机图像数据进行行边缘提取、边缘匹配、三维重建目标点云、空间平面拟合和位姿测量；

将图像极线校正链表通过异步串口传输至所述立体显示处理器；

将计算的位姿信息通过异步串口传输至所述立体显示处理器，供操作者观看。

为了实现上述目的，本发明还采取以下技术方案：

提供一种基于双目立体视觉的机器人遥操作辅助系统，包括：

图像数据输出单元：通过测量相机将数字图像数据输出至图像测量处理器，且同时通过监视相机将数字图像数据输出至立体显示处理器；

图像数据处理单元：所述图像测量处理器接收所述测量相机的图像数据后进行计算，计算出指定目标的相对位姿，并传输至立体显示处理器和机器人主控系统，所述立体显示处理器接收所述监视相机的图像数据进行极线校正，并将监视相机的图像数据传输至所述立体显示设备；

图像数据显示单元：所述立体显示设备将所述立体显示处理器输出的图像数据进行显示，供操作者观看。

所述图像数据输出单元中：

所述测量相机包括左测量相机和右测量相机，且所述左测量相机与右测量相机之间设置所述左监视相机和右监视相机；

通过所述左测量相机和右测量相机将数字图像数据输出至图像测量处理器，且同时通过所述左监视相机和右监视相机将数字图像数据输出至立体显示处理器。

所述图像数据输出单元中：

所述测量相机按照图像测量处理器输出的传感器驱动时序将数字图像数据输出至图像测量处理器；所述监视相机按照立体显示处理器输出的传感器驱动时序，将数字图像数据输出至立体显示处理器。

所述立体显示设备包括立体显示头盔和立体显示电视，根据实际需求将所述立体显示处理器输出的图像数据在立体显示头盔或立体显示电视上显示，供操作者观看。

所述显示头盔将所述左监视相机和右监视相机图像合成1920×1080大小图像，通过HDMI接口送入所述显示头盔头盔中的LED液晶显示屏进行显示。

所述图像数据处理单元中：

所述图像测量处理器通过处理器对所述左测量相机和右测量相机输出的数字图像数据进行双线程计算，并设置左图像传感器和右图像传感器按照4帧/秒、分辨率为1920×1200输出图像数据；

将所述数字图像数据存储在同步态随机存储器中，供姿态测量使用；

所述图像测量处理器对接收的测量相机图像数据进行行边缘提取、边缘匹配、三维重建目标点云、空间平面拟合和位姿测量；

将图像极线校正链表通过异步串口传输至所述立体显示处理器；

将计算的位姿信息通过异步串口传输至所述立体显示处理器，供操作者观看。

本发明的有益效果在于：本发明公开了一种基于双目立体视觉的机器人遥操作辅助方法和装置，根据测量和监视功能相结合设计的双目相机架设方案，对测量相机和监控相机进行高精度的装调和标定，采用立体头盔矫正和显示双目图像，人工标记感兴趣目标并进行位姿测算。本发明能够进行实时大视场沉浸式监视，操作人员身临其境感强，同时对感兴趣目标进行姿态测算，实测精度优于0.95mm，0.58°，能够有效辅助操作人员对机器人进行遥操作。

附图说明

图1所示为本发明基于双目立体视觉的机器人遥操作辅助方法的流程框图。

图2所示为不同水平夹角时，水平方向视场的覆盖范围示意图。

图3所示为测量相机的光学设计示意图。

图4所示为监视相机的光学设计示意图。

图5所示为本发明基于双目立体视觉的机器人遥操作辅助系统的框图。

图6所示为图像测量处理器的电路原理模块图。

图7所示为图像测量处理器的算法流程框图。

图8a所示为左测量相机生成的目标深度图。

图8b所示为右测量相机生成的目标深度图。

图9所示为目标位姿坐标图示。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供一种基于双目立体视觉的机器人遥操作辅助方法，包括如下步骤：

步骤1为图像数据输出步骤：通过测量相机将数字图像数据输出至图像测量处理器，且同时通过监视相机将数字图像数据输出至立体显示处理器；

步骤2为图像数据处理步骤：所述图像测量处理器接收所述测量相机的图像数据后进行计算，计算出指定目标的相对位姿，并传输至立体显示处理器和机器人主控系统，所述立体显示处理器接收所述监视相机的图像数据进行极线校正，并将监视相机的图像数据传输至所述立体显示设备；

步骤3为图像数据显示步骤：所述立体显示设备将所述立体显示处理器输出的图像数据进行显示，供操作者观看。

本发明基于双目立体视觉的机器人遥操作辅助方法中，实际应用中是由四个相机构成，分为两组，中间两个为监视相机，外侧两个为测量相机，每个相机顶部安装用于装调的立方镜。此外，还通过自准直经纬仪将相机成像面坐标系与相机自带的棱镜坐标系调整至平行，在两个监视相机的中间放置一个基准棱镜，通过调整相机棱镜与基准棱镜间的角度，保证监视相机光轴平行，测量相机光轴与水平夹角79°。该四个相机的内部及外部参数标定均使用棋盘格标定板，利用张正友平面标定法完成对监视相机和测量相机的内部和外部参数标定。

一个实施例中，在所示图像数据输出步骤中：

所述测量相机包括左测量相机和右测量相机，且所述左测量相机与右测量相机之间设置所述左监视相机和右监视相机；

通过所述左测量相机和右测量相机将数字图像数据输出至图像测量处理器，且同时通过所述左监视相机和右监视相机将数字图像数据输出至立体显示处理器。

如图2所示，为了确保测量相机的测量精度及工作范围，设计测量相机的光学系统焦距为12mm时，视场角为42°×27°。由于系统受体积限制，基线B固定为183mm，测量距离为350mm～800mm。建立测量相机的工作范围d1～d2与相机的摆放角度α和基线B之间的解析关系，从而确定双目相机的摆放。

如图3所示，在不同水平夹角时，水平方向视场的覆盖范围，当测量相机光轴与水平夹角79°时，距离350mm时水平方向视场覆盖范围为254.4mm相当于水平视场角40°，距离800mm时水平方向视场覆盖范围为465.1mm、相当于水平视场角32°。因此将两个测量相机光轴与水平夹角79°对称摆放。

如图4所示，不同水平夹角时，水平方向视场的覆盖范围，当所述左监视相机和右监视相机光轴与水平夹角79°时，距离350mm时水平方向视场覆盖范围为254.4mm，相当于水平视场角40°，距离800mm时水平方向视场覆盖范围为465.1mm，相当于水平视场角32°。因此将两个相机光轴与水平夹角79°对称摆放。

一个实施例中，图像数据输出步骤中：

所述测量相机按照图像测量处理器输出的传感器驱动时序将数字图像数据输出至图像测量处理器；所述监视相机按照立体显示处理器输出的传感器驱动时序，将数字图像数据输出至立体显示处理器。其中，所示监视相机电子学部分与测量相机电子学部分设计相同，由安森美的VITA面阵CMOS图像传感器和外围电路构成，按图像测量处理器提供的驱动时序输出数字图像数据传输至图像测量处理器，其中图像测量处理器的电路原理模块图如图6所示。

一个实施例中，所述立体显示设备包括立体显示头盔和立体显示电视，根据实际需求将所述立体显示处理器输出的图像数据在立体显示头盔或立体显示电视上显示，供操作者观看。

一个实施例中，所述显示头盔将所述左监视相机和右监视相机图像合成1920×1080大小图像，通过HDMI接口送入所述显示头盔中的LED液晶显示屏进行显示。

一个实施例中，图像数据处理步骤：

所述图像测量处理器通过处理器对所述左测量相机和右测量相机输出的数字图像数据进行双线程计算，并设置左图像传感器和右图像传感器按照4帧/秒、分辨率为1920×1200输出图像数据；

将所述数字图像数据存储在同步态随机存储器中，供姿态测量使用；

所述图像测量处理器对接收的测量相机图像数据进行行边缘提取、边缘匹配、三维重建目标点云、空间平面拟合和位姿测量；

将图像极线校正链表通过异步串口传输至所述立体显示处理器；

将计算的位姿信息通过异步串口传输至所述立体显示处理器，供操作者观看。

需要说明的是，边缘是图像的最基本特征之一，能够大大地减少所要处理的信息但是又保留了图像中物体的形状信息。本发明提取图像边缘作为主要特征，完成对立体目标的姿态测量。如图7所示，图像测量处理器主要完成左右相机图像边缘提取、边缘匹配、三维重建、空间平面拟合和位姿测量。

需要说明的是，如图8a、8b所示，首先通过双目测量相机生成两组目标深度图，算法自动提取目标的显著性平面，三维重建和空间平面拟合，计算目标的位姿。而目标位姿坐标则如图9所示，如图9所示的目标位置坐标的目标显著平面方程、位置坐标及法线角度侧参考下表；

目标显著平面方程位置坐标法线角度位置1-0.00192144x+0.00111288y+0.0212844z＝1(3.39，-5.572，47.43)(84.84，87.01，5.95)位置20.000629517x+0.000639321y+0.0208609z＝1(1.60，-5.926，48.16)(88.27，88.24，3.00)

为了实现上述目的，本发明还采取以下技术方案：

如图5所示，提供一种基于双目立体视觉的机器人遥操作辅助系统，包括：

图像数据输出单元：通过测量相机将数字图像数据输出至图像测量处理器，且同时通过监视相机将数字图像数据输出至立体显示处理器；

图像数据处理单元：所述图像测量处理器接收所述测量相机的图像数据后进行计算，计算出指定目标的相对位姿，并传输至立体显示处理器和机器人主控系统，所述立体显示处理器接收所述监视相机的图像数据进行极线校正，并将监视相机的图像数据传输至所述立体显示设备；

图像数据显示单元：所述立体显示设备将所述立体显示处理器输出的图像数据进行显示，供操作者观看。

本发明基于双目立体视觉的机器人遥操作辅助方法中，实际应用中是由四个相机构成，分为两组，中间两个为监视相机，外侧两个为测量相机，每个相机顶部安装用于装调的立方镜。此外，还通过自准直经纬仪将相机成像面坐标系与相机自带的棱镜坐标系调整至平行，在两个监视相机的中间放置一个基准棱镜，通过调整相机棱镜与基准棱镜间的角度，保证监视相机光轴平行，测量相机光轴与水平夹角79°。该四个相机的内部及外部参数标定均使用棋盘格标定板，利用张正友平面标定法完成对监视相机和测量相机的内部和外部参数标定。

一个实施例中，在所示图像数据输出单元中：

所述测量相机包括左测量相机和右测量相机，且所述左测量相机与右测量相机之间设置所述左监视相机和右监视相机；

通过所述左测量相机和右测量相机将数字图像数据输出至图像测量处理器，且同时通过所述左监视相机和右监视相机将数字图像数据输出至立体显示处理器。

如图2所示，为了确保测量相机的测量精度及工作范围，设计测量相机的光学系统焦距为12mm时，视场角为42°×27°。由于系统受体积限制，基线B固定为183mm，测量距离为350mm～800mm。建立测量相机的工作范围d1～d2与相机的摆放角度α和基线B之间的解析关系，从而确定双目相机的摆放。

如图3所示，在不同水平夹角时，水平方向视场的覆盖范围，当相机光轴与水平夹角79°时，距离350mm时水平方向视场覆盖范围为254.4mm相当于水平视场角40°，距离800mm时水平方向视场覆盖范围为465.1mm、相当于水平视场角32°。因此将两个测量相机光轴与水平夹角79°对称摆放。

如图4所示，不同水平夹角时，水平方向视场的覆盖范围，当所述左监视相机和右监视相机光轴与水平夹角79°时，距离350mm时水平方向视场覆盖范围为254.4mm，相当于水平视场角40°，距离800mm时水平方向视场覆盖范围为465.1mm，相当于水平视场角32°。因此将两个相机光轴与水平夹角79°对称摆放。

一个实施例中，图像数据输出单元中：

所述测量相机按照图像测量处理器输出的传感器驱动时序将数字图像数据输出至图像测量处理器；所述监视相机按照立体显示处理器输出的传感器驱动时序，将数字图像数据输出至立体显示处理器。其中，所示监视相机电子学部分与测量相机电子学部分设计相同，由安森美的VITA面阵CMOS图像传感器和外围电路构成，按图像测量处理器提供的驱动时序输出数字图像数据传输至图像测量处理器。

一个实施例中，所述立体显示设备包括立体显示头盔和立体显示电视，根据实际需求将所述立体显示处理器输出的图像数据在立体显示头盔或立体显示电视上显示，供操作者观看。

一个实施例中，所述显示头盔将所述左监视相机和右监视相机图像合成1920×1080大小图像，通过HDMI接口送入所述显示头盔头盔中的LED液晶显示屏进行显示。

一个实施例中，图像数据处理单元的工作原理如下：

所述图像测量处理器通过处理器对所述左测量相机和右测量相机输出的数字图像数据进行双线程计算，并设置左图像传感器和右图像传感器按照4帧/秒、分辨率为1920×1200输出图像数据；

将所述数字图像数据存储在同步态随机存储器中，供姿态测量使用；

所述图像测量处理器对接收的测量相机图像数据进行行边缘提取、边缘匹配、三维重建目标点云、空间平面拟合和位姿测量；

将图像极线校正链表通过异步串口传输至所述立体显示处理器；

将计算的位姿信息通过异步串口传输至所述立体显示处理器，供操作者观看。

需要说明的是，边缘是图像的最基本特征之一，能够大大地减少所要处理的信息但是又保留了图像中物体的形状信息。本发明提取图像边缘作为主要特征，完成对立体目标的姿态测量。如图7所示，图像测量处理器主要完成左右相机图像边缘提取、边缘匹配、三维重建、空间平面拟合和位姿测量。

需要说明的是，如图8a、8b所示，首先通过双目测量相机生成两组目标深度图，算法自动提取目标的显著性平面，三维重建和空间平面拟合，计算目标的位姿。而目标位姿坐标则如图9所示，如图9所示的目标位置坐标的目标显著平面方程、位置坐标及法线角度侧参考下表；

目标显著平面方程位置坐标法线角度位置1-0.00192144x+0.00111288y+0.0212844z＝1(3.39，-5.572，47.43)(84.84，87.01，5.95)位置20.000629517x+0.000639321y+0.0208609z＝1(1.60，-5.926，48.16)(88.27，88.24，3.00)

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。