一种基于复杂空间障碍物定位的柔性机械臂运动避障方法

摘要

本发明公开了一种基于复杂空间障碍物定位的柔性机械臂运动避障方法，涉及柔性机械臂避障技术领域，包括以下步骤：预先采集目标空间图像特征信息，并作为RCF深度网络的输入；RCF深度网络对空间图像中的所有物体进行边缘检测，获取空间中障碍物的位置信息；单线激光对获取的障碍物区域进行深度测量；将原始障碍物的平面位置信息与获得的深度图进行匹配融合，并构建目标三维点云模型；进行对障碍物标记，并作为机械臂运动避障。本发明实现在非结构性复杂空间中长时间以及高精度工作中，提供路径规划指导，适用于卫星装配等目标空间具有复杂、非结构性特点，满足任务精度高的自动化装配任务，指导效率高，路径规划精确，应用范围广。

说明书

技术领域

本发明涉及柔性机械臂避障技术领域，具体来说，涉及一种基于复杂空间障碍物定位的柔性机械臂运动避障方法。

背景技术

小卫星中单体设备的安装是其总装过程的重要部分。由于小卫星内部结构复杂、布线空间狭窄、零部件数目多，主要设备一般重量在十几公斤及以上，目前其装配方式以手工作业为主。手工装配要求装配人员在托举重物的同时，还要保持设备与卫星本体的相对定位精度，给装配人员的操作带来了极大的困难，也影响了卫星总装的装配效率，严重时还可能会损坏卫星或造成操作人员受伤。同时，对于小卫星，每个型号卫星的内部结构都不相同，且布线复杂，因此很难保证操作对象的一致性。为了提高小卫星总装效率，有必要开发小卫星智能装配系统，以工业机器人为平台，通过基于小卫星数字化模型的机器人离线编程，并结合机器视觉的实时反馈，实现可以适应不同型号小卫星的单机设备自动化装配，并确保不会发生部件与卫星的碰撞。

卫星的零部件装配都是在狭小空间中进行，装配过程存在视野受限、目标位置受遮挡等问题，装配空间因任务而异，具有复杂、非结构性的特点。因此，小卫星智能装配系统的首要任务是对卫星装配过程的不确定环境进行精确测量，主要是对障碍识别和检测。由于固定设备及本体安装前后在空间数据库中都有呈现，机器手及抓取的设备可以通过建模完成避障计算，所以有可能出现障碍的就是空间内固定的线缆。

目前，机械臂避障方法主要基于视觉信息实现障碍物的检测与定位，在此基础上完成机械臂路径规划。但是，由于摄像头视角、机械臂遮挡等因素导致障碍物的定位精度低、误差大，大大增加了发生碰撞的风险，尤其是在目标空间的结构具有不确定性和复杂性的情况下。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种基于复杂空间障碍物定位的柔性机械臂运动避障方法，以克服现有相关技术所存在的上述技术问题。

本发明的技术方案是这样实现的：

一种基于复杂空间障碍物定位的柔性机械臂运动避障方法，包括以下步骤：

步骤S1、预先采集目标空间图像特征信息，并作为RCF深度网络的输入；

步骤S2、RCF深度网络(Richer Convolutional Features)对空间图像中的所有物体进行边缘检测，获取空间中障碍物的位置信息；

步骤S3、单线激光对获取的障碍物区域进行深度测量，其中包括测量目标深度和获得多帧融合的深度图；

步骤S4、将原始障碍物的平面位置信息与获得的深度图进行匹配融合，并构建目标三维点云模型；

步骤S5、进行对障碍物标记，并作为机械臂运动避障。

进一步的，所述采集目标空间图像特征信息，包括视觉传感器获取目标空间下的图像。

进一步的，所述单线激光对获取的障碍物区域进行深度测量，包括单线激光传感器主动对空间内的障碍物区域进行扫描，获取障碍物深度信息。

进一步的，所述单线激光传感器固定于所述柔性机械臂末端，用于随所述柔性机械臂进行平移或旋转，对目标区域进行深度测量。

进一步的，所述目标三维点云模型，进一步包括所述视觉传感器和所述激光传感器的相对位置参数对获取到的障碍物距离信息进行配准并与位置信息融合，获得目标空间下障碍物的三维点云模型。

进一步的，所述信息融合，包括以下步骤：

预先选取所述柔性机械臂的三对自由度匹配点；

标定变换矩阵，对所述三维点云模型进行坐标系变换，通过叠加的方式与原模型进行融合。

进一步的，包括三维点云模型对齐，其三维点云模型的对齐为矩阵变换，表示为：

设定变换矩阵R

T＝[T

其中，α,β,φ分别为传感器绕x,y,z轴发生的旋转角，T

其变换公式表示为：

确定变换矩阵与当前坐标系下点坐标(x′,y′,z′)，确定原坐标系下的点坐标(x,y,z)，完成三维点云模型对齐。

本发明的有益效果：

本发明基于复杂空间障碍物定位的柔性机械臂运动避障方法，通过预先采集目标空间图像特征信息，并作为RCF深度网络的输入；其RCF深度网络对空间图像中的所有物体进行边缘检测，获取空间中障碍物的位置信息；单线激光对获取的障碍物区域进行深度测量；将原始障碍物的平面位置信息与获得的深度图进行匹配融合，并构建目标三维点云模型，进行对障碍物标记，并作为机械臂运动避障，实现在非结构性复杂空间中长时间以及高精度工作中，提供路径规划指导，适用于卫星装配等目标空间具有复杂、非结构性特点，满足任务精度高的自动化装配任务，指导效率高，路径规划精确，应用范围广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种基于复杂空间障碍物定位的柔性机械臂运动避障方法的流程示意图；

图2是根据本发明实施例的一种基于复杂空间障碍物定位的柔性机械臂运动避障方法的流程判定示意图；

图3是根据本发明实施例的一种基于复杂空间障碍物定位的柔性机械臂运动避障方法的装配空间示意图；

图4是根据本发明实施例的一种基于复杂空间障碍物定位的柔性机械臂运动避障方法的分割后的线缆区域示意图；

图5是根据本发明实施例的一种基于复杂空间障碍物定位的柔性机械臂运动避障方法的线缆深度图示意图；

图6是根据本发明实施例的一种基于复杂空间障碍物定位的柔性机械臂运动避障方法的线缆三维坐标信息示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种基于复杂空间障碍物定位的柔性机械臂运动避障方法。

如图1-图2所示，根据本发明实施例的基于复杂空间障碍物定位的柔性机械臂运动避障方法，包括以下步骤：

步骤S1、预先采集目标空间图像特征信息，并作为RCF深度网络的输入；

步骤S2、RCF深度网络对空间图像中的所有物体进行边缘检测，获取空间中障碍物的位置信息；

步骤S3、单线激光对获取的障碍物区域进行深度测量，其中包括测量目标深度和获得多帧融合的深度图；

步骤S4、将原始障碍物的平面位置信息与获得的深度图进行匹配融合，并构建目标三维点云模型；

步骤S5、进行对障碍物标记，并作为机械臂运动避障。

其中，所述采集目标空间图像特征信息，包括视觉传感器获取目标空间下的图像。

其中，所述单线激光对获取的障碍物区域进行深度测量，包括单线激光传感器主动对空间内的障碍物区域进行扫描，获取障碍物深度信息。

其中，所述单线激光传感器固定于所述柔性机械臂末端，用于随所述柔性机械臂进行平移或旋转，对目标区域进行深度测量。

其中，所述目标三维点云模型，进一步包括所述视觉传感器和所述激光传感器的相对位置参数对获取到的障碍物距离信息进行配准并与位置信息融合，获得目标空间下障碍物的三维点云模型。

其中，所述信息融合，包括以下步骤：

预先选取所述柔性机械臂的三对自由度匹配点；

标定变换矩阵，对所述三维点云模型进行坐标系变换，通过叠加的方式与原模型进行融合。

其中，还包括三维点云模型对齐，其三维点云模型的对齐为矩阵变换，表示为：

设定变换矩阵R

T＝[T

其中，α,β,φ分别为传感器绕x,y,z轴发生的旋转角，T

其变换公式表示为：

确定变换矩阵与当前坐标系下点坐标(x′,y′,z′)，确定原坐标系下的点坐标(x,y,z)，完成三维点云模型对齐。

借助于上述技术方案，通过预先采集目标空间图像特征信息，并作为RCF深度网络的输入；其RCF深度网络对空间图像中的所有物体进行边缘检测，获取空间中障碍物的位置信息；单线激光对获取的障碍物区域进行深度测量；将原始障碍物的平面位置信息与获得的深度图进行匹配融合，并构建目标三维点云模型，进行对障碍物标记，并作为机械臂运动避障，实现在非结构性复杂空间中长时间以及高精度工作中，提供路径规划指导，适用于卫星装配等目标空间具有复杂、非结构性特点，满足任务精度高的自动化装配任务，指导效率高，路径规划精确，应用范围广。

另外，RCF深度网络将视觉传感器采集到的目标空间图像作为输入，其中，网络的卷积分为五个阶段，相邻两个阶段通过池化层进行下采样，从而获得不同尺度的特征。最后，通过级联和1x1卷积对各个阶段的特征进行融合，输出障碍物边缘。相比于其他方法，基于RCF深度网络的障碍物检测与边缘分割更加准确。

而激光测距方法采用单线激光传感器。在初步获取障碍物位置信息后，激光传感器对障碍物区域进行扫描，获取障碍物的深度图。进一步根据视觉传感器和激光传感器的相对位置参数对障碍物深度图进行配准，完成该空间下障碍物的三维重构。

另外，具体的，如图3-图6所示，在一个实施例中，其卫星装配空间下机械臂避障，本实施例的任务在于获取装配空间内精确的线缆三维坐标，实现线缆模型重构，进而指导机械臂避障。

实施例中的装配空间如图3所示，由装配面板4、障碍物5(多线缆)、激光传感器1、视觉传感器2、机械臂组成。机械臂末端与传感器所处二维平面为操作面3，定义为xOy平面，视觉传感器与激光传感器均安装在机械臂末端，可以随机械臂旋转和移动。

机械臂位置初始化后，视觉传感器正对装配面板，如图3所示。本实施例首先通过视觉传感器获取装配空间的彩色图像信息，经过预处理后作为RCF深度网络的输入。RCF深度网络的五个阶段分别对不同尺度下图像中的线缆边缘轮廓信息进行提取，经过级联、融合，最终输出线缆的边缘信息。再经过后处理得到完整线缆的二维坐标信息。本实施例中，分割后的线缆区域如图4所示。

本实施例中的单线激光传感器安装与视觉传感器正上方。根据初步检测到的线缆位置，引导激光传感器对向线缆区域，对线缆的深度信息进行测量，获取线缆深度图，如图5所示。深度最终测量结果采用多帧深度图融合的方式获取，可以有效去除深度图中测量失误产生的噪点，同时提高线缆深度测量的精度。单线激光传感器的移动凭借机械臂末端的移动装置完成，可以主动对感兴趣的目标区域进行深度测量。

其中，利用视觉传感器与激光传感器的相对位置信息，对线缆的深度图进行配准(与彩色图相匹配、融合)，精确重构该装配空间下线缆的三维面点云模型，包含线缆的三维坐标信息，如图6所示。

另外，完成目标空间下线缆的三维重建后，基于线缆信息与目标位置信息完成机械臂规划路径，指导机械臂避障。由于基于单线激光传感器的深度测量方式受传感器位置的影响，单一视角下的线缆之间可能存在遮挡的情况，导致重构的线缆模型不完整。为了提高建模的精度与完整性，在机械臂的运动过程中，视觉传感器与激光传感器继续对目标空间进行测量，间隔性重构线缆的点云模型。根据机械臂发生的旋转、平移等位置参数，通过计算变换矩阵将其对齐到原模型坐标系下，对原模型进行补充和校正。整个过程间隔性重复进行，直到机械臂到达目标区域范围。

其上述方案中，在非结构性复杂空间中长时间以及高精度工作中，提供路径规划指导，满足任务精度高的自动化装配任务，指导效率高，路径规划精确。

综上所述，借助于本发明的上述技术方案，通过预先采集目标空间图像特征信息，并作为RCF深度网络的输入；其RCF深度网络对空间图像中的所有物体进行边缘检测，获取空间中障碍物的位置信息；单线激光对获取的障碍物区域进行深度测量；将原始障碍物的平面位置信息与获得的深度图进行匹配融合，并构建目标三维点云模型，进行对障碍物标记，并作为机械臂运动避障，实现在非结构性复杂空间中长时间以及高精度工作中，提供路径规划指导，适用于卫星装配等目标空间具有复杂、非结构性特点，满足任务精度高的自动化装配任务，指导效率高，路径规划精确，应用范围广。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。