基于三维视觉的堆场防碰撞系统

摘要

本发明属于人工智能算法领域，尤其是一种基于三维视觉的堆场防碰撞系统，针对现有的堆场防碰撞系统，都单独使用激光雷达，单个激光雷达存在较大视角盲区，而多个昂贵的激光雷达成本较高，导致成本和效能无法兼顾的问题，现提出如下方案，其包括两组相机阵列、工控设备、场桥吊和人工智能控制器，所述相机阵列设置于场桥吊的顶部，场桥吊内设置有电气房，工控设备安装于电气房内，人工智能控制器与两组相机阵列连接，本发明利用数字摄像机拍摄场桥吊或岸桥吊下方堆场的不同角度图片，然后使用多视图三维重建算法与人工智能算法生成整个下方堆场的电子虚拟地图，可以对临近贝位的集装箱错位提供更好的保护，也具有更好的性价比。

说明书

技术领域

本发明涉及人工智能算法技术领域，尤其涉及一种基于三维视觉的堆场防碰撞系统。

背景技术

堆场防碰撞系统，又称堆场防打保龄系统(以下简称LCPS)，主要用于自动化或半自动化集装箱港口码头吊具作业时的三个功能，小车、大车方向防撞保护功能：在小车前进方向上，如果空吊具或者吊具带载的位置低于障碍物时，LCPS会根据PLC读取到的当前小车位置，来计算障碍物和吊具负载(可能为空载)之间的水平距离，并根据距离，在较近时限制小车移动速度，或极近时自动停止小车，并给出急停原因，和建议上升的最小距离，只有当操作或自动控制系统，将吊具负载提高于障碍物时，小车防撞才解除锁死，LCPS所检测的障碍物，除了小车方向，还要实现吊具与大车方向相邻堆场障碍物的防撞保护功能，比如大车方向相邻堆场错位或大车倾斜时，相邻堆场的集装箱会突出到本堆场内，造成小车运行的安全隐患；最优路径规划：在以上功能的基础上进一步地，LCPS应当对整个集装箱路径，进行智能化的最优规划，视自动化程度的高低，分为基础功能、进阶功能和高阶功能，基础功能中LCPS可以将目标位置的障碍物高度信息提供给半自动系统，通过与起升高度值进行比较，在司机室主画面中，实时显示接近任务箱顶的距离，以方便司机确定落箱距离，同时LCPS可以对指定的目标集装箱位，计算抛物线化的小车吊具运行路线，并给出操作建议，和操作限制，即小车在不同位置、吊具在不同高度时，LCPS限制小车和吊具的运行速度，以实现智能软着陆，进阶功能中的控制系统自动化程度更高，那么抛物线化的运行线路，可直接自动运行，操作人员只需监视即可，即吊具自动抛物线运行到目标集装箱位上方较低高度，高阶功能中LCPS系统会智能分析堆场或货轮上，堆场堆箱情况，传给TOS系统，给出目标集装箱位的选取建议，并且操作人员可以方便地通过交互式界面，重新设置目标集装箱位到堆场或货轮上任一新堆场处；

因为过去缺乏有效的技术手段，在室外复杂光照环境下，相机拍摄的平面图像无法准确快速地转换成三维点云，所以传统的堆场防碰撞系统，都单独使用激光雷达，利用激光扫描测距原理，获得下方一条扫描线上的实时数据，将单线数据视作下方集装箱高度分布的情况，来进行吊具运动路径规划，实现防碰撞的目的，但是在实际中，堆场内吊具下方的集装箱高度分布方式，经过排列组合以后有几百上千种可能的情形，并且单个激光雷达存在较大视角盲区，可能无法检测到，大车方向相邻堆场集装箱错位的情形，造成防碰撞保护漏洞，虽然可以通过增加激光雷达个数的方式进行漏洞弥补，但是因为激光雷达的数据非常不直观，需要耗费开发者付出巨大的时间和管理成本，人工调试优化多雷达数据的合成，加上廉价激光雷达扫描范围有限，易受雨雪、雾霾等室外复杂气象的干扰，这都导致传统使用激光雷达的LCPS，必须组合使用多个昂贵的激光雷达，成本和效能无法兼顾。

发明内容

本发明的目的是为了解决现有技术中存在的堆场防碰撞系统，都单独使用激光雷达，单个激光雷达存在较大视角盲区，而多个昂贵的激光雷达成本较高，导致成本和效能无法兼顾的缺点，而提出的基于三维视觉的堆场防碰撞系统。

为了实现上述目的，本发明采用了如下技术方案：

基于三维视觉的堆场防碰撞系统，包括两组相机阵列、工控设备、场桥吊和人工智能控制器，所述相机阵列设置于场桥吊的顶部，场桥吊内设置有电气房，工控设备安装于电气房内，人工智能控制器与两组相机阵列连接，所述电气房内设置有场桥吊PLC，工控设备与场桥吊PLC连接，相机阵列采用的相机是数字摄像机，数字摄像机用于不断向下拍摄集装箱堆场内的堆垛，并将拍摄的多视图高清照片组发送至人工智能控制器，所述人工智能控制器用于将照片组进行高精度数字三维重建，生成整个下方堆场的电子虚拟地图，而后对电子虚拟地图进行吊具负载路径规划，从而生成吊具和小车的控制参数。

优选的，所述高精度数字三维重建过程如下：首先使用深度卷积神经网络实例分割算法，识别集装箱的边角作为特征点，并获得每个特征点的实例标签号，然后对于每两幅图片中，标签号相同的特征点，即为拍摄到的同一个集装箱的同一个边角特征，从而组成配对点，接着对配对点运用无基线约束的最优化计算，迭代计算得到本征矩阵，再使用此本征矩阵将每两幅二维图像转换成一片带纹理的三维点云，由于上述配对点不仅用于立体视图三维重建，还用于找到每两片三维点云的公共点云部分，最后这样实现了所有点云的拼接，完成了整个集装箱堆场的电子虚拟地图生成。

优选的，所述吊具负载路径规划过程如下：首先使用模式识别算法，得到下方集装箱各个边角的坐标，作为控制点列，然后使用最优化方法，计算一条高于所有控制点，而长度尽可能短的平面抛物线方程，最后将抛物线高于吊具极限上升高度的部分剪除，使用水平直线段替代，得到最终的不会碰撞堆垛而运行时间比较低的，吊具负载运动轨迹。

与现有技术相比，本发明的有益效果是：

本发明的用于集装箱堆场内作业的吊具负载防碰撞系统，利用数字摄像机拍摄场桥吊或岸桥吊下方堆场的不同角度图片，然后使用多视图三维重建算法与人工智能算法生成整个下方堆场的电子虚拟地图，再对电子虚拟地图进行抛物线化集装箱路径规划，从而实现防止吊具碰撞打散集装箱堆垛事故的发生，并提高集装箱作业效率的目的，相比传统多个激光雷达的方法，本发明可以对临近贝位的集装箱错位提供更好的保护，也具有更好的性价比。

附图说明

图1为本发明提出的基于三维视觉的堆场防碰撞系统的组件连接结构示意图；

图2为本发明提出的基于三维视觉的堆场防碰撞系统的工作流程图示意图；

图3为本发明提出的基于三维视觉的堆场防碰撞系统的作业示意图；

图4为本发明提出的基于三维视觉的堆场防碰撞系统的作业示意图；

图5为本发明提出的基于三维视觉的堆场防碰撞系统的堆场电子虚拟地图三维重建效果图。

图中：1相机阵列、2工控设备、3场桥吊、4相机组、5岸桥吊。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例一

参照图1-5，基于三维视觉的堆场防碰撞系统，包括两组相机阵列1、工控设备2、场桥吊3和人工智能控制器，相机阵列1设置于场桥吊3的顶部，场桥吊3内设置有电气房，工控设备2安装于电气房内，人工智能控制器与两组相机阵列1连接，电气房内设置有场桥吊PLC，工控设备2与场桥吊PLC连接，相机阵列1采用的相机是数字摄像机，将拍摄的多视图高清照片组发送至人工智能控制器，人工智能控制器将照片组进行高精度数字三维重建，生成整个下方堆场的电子虚拟地图，而后对电子虚拟地图进行吊具负载路径规划，从而生成吊具和小车的控制参数。

本实施例中，高精度数字三维重建过程如下：首先使用深度卷积神经网络实例分割算法，识别集装箱的边角作为特征点，并获得每个特征点的实例标签号，然后对于每两幅图片中，标签号相同的特征点，即为拍摄到的同一个集装箱的同一个边角特征，从而组成配对点，接着对配对点运用无基线约束的最优化计算，迭代计算得到本征矩阵，再使用此本征矩阵将每两幅二维图像转换成一片带纹理的三维点云，由于上述配对点不仅用于立体视图三维重建，还用于找到每两片三维点云的公共点云部分，最后这样实现了所有点云的拼接，完成了整个集装箱堆场的电子虚拟地图生成。

本实施例中，吊具负载路径规划过程如下：首先使用模式识别算法，得到下方集装箱各个边角的坐标，作为控制点列，然后使用最优化方法，计算一条高于所有控制点，而长度尽可能短的平面抛物线方程，最后将抛物线高于吊具极限上升高度的部分剪除，使用水平直线段替代，得到最终的不会碰撞堆垛而运行时间比较低的，吊具负载运动轨迹。

实施例二

参照图1-2，基于三维视觉的堆场防碰撞系统，包括人工智能控制器和数字摄像机，数字摄像机以多相机阵列或移动轨道的方式安装在场桥吊或岸桥吊上方横梁，拍摄正下方集装箱堆场内堆垛的，多视图高清照片组，并发送至人工智能控制器，人工智能控制器安装在场桥吊或岸桥吊电气房内，数字摄像机均与人工智能控制器，通过网线转光纤后连接，人工智能控制器与场桥吊或岸桥吊PLC连接，如果数字摄像机以相机阵列方式安装，则保证堆场内任意位置的集装箱要至少被一对同焦距相邻的数字摄像机拍摄到，即覆盖在它们的公共视场内，如果以移动轨道方式安装，则摄像机连续拍摄视频以覆盖移动范围内所有集装箱，最终使得任意一个集装箱的图像被出现在两个安装位置不同的相机所拍摄，或在同一个视频的不同帧内，从而获得至少两张有较大视差的图像对；

本实施例中，获得视差图像对后，使用深度神经网络实例分割算法，找到每一幅图像中所有集装箱的四个边角，作为重要的带标签特征点，下一步将图像对中具有相同标签的一对特征点视作同一个边角在不同视图图像中的配对点，接着使用事先标定好的单相机内参数及最优化多视图构像方程，计算得到每个图片对的双目本征矩阵，有了本征矩阵，使得成对图像中公共区域的所有像素都能在基于灰度特征和基线约束的条件上完成配对，进而将成对图像转化为一片三维带颜色纹理的点云，按相机阵列安装方式或相机移动的顺序来决定每一片点云的先后顺序，而且因为每片点云互相之间都有公共部分，所以后一片点云可以不停向前一片点云进行拼接，最终完成了整个堆场的点云，就是所需要的堆场电子虚拟地图；

本实施了中，有了电子虚拟地图后，为了避免遗漏，再次计算所有集装箱的三维边角坐标，这些都是必须绕开的潜在碰撞点，将这些三维坐标投影到场桥吊或岸桥吊小车的移动吊具下降所组成的二维平面上，再施行带约束的平面抛物线拟合算法，得到抛物线方程，最后将抛物线方程高于吊具上升极限的部分拉平成直线段，就完成了一次路径规划，较佳地，上述规划出的抛物线和直线路径的总路程小于无本系统时，司机可以目测观察到直线上升、直线平移和直线下降的作业路径，且避免了无此系统或其他不完善系统，所可能导致的贝位错位引起的吊具负载“打保龄”集装箱垛事故，所以既保证了安全又提高了作业效率，通过该实施例说明，吊具负载防碰撞系统分别安装在场桥吊和岸桥吊上，用于防止作业过程中对地面集装箱堆场和集装箱轮上堆场作业时，发生的带箱或不带箱吊具，由于误操作或观察不良引起的碰撞场内集装箱事故。

实施例三

参照图3，基于三维视觉的堆场防碰撞系统，包括一台工控设备2和相机阵列1，在整个场桥吊3的顶部横梁上，安装向下拍摄的相机阵列1，相机阵列1由22台数字摄像机组成，(相对小车行进方向的)左右各11台，由于左右完全对称，以左侧11台数字摄像机为例，此11台分成两组，一组为5台远摄组相机，使用较长焦距，从(相对小车行进方向的)前到后拍摄堆场内第一、二层高的集装箱和地面标志，另一组为6台近摄组相机，使用较短焦距，从前到后拍摄第三、四、五层高的集装箱，两组中同一组的相机，间距为拍摄最近感兴趣物体时视场长边的一半，从而这样安装保证了此实施例中，堆场内场桥吊所在当前贝位，任一高度和位置的集装箱，都能被至少两台同组摄像机的公共视场所覆盖，进而适用于本发明的多视图三维重建算法。

本实施了中，工控设备2安装于场桥吊3的电气房内，工控设备2用光纤相机阵列1，以接收作业现场数据，工控设备2用网线与同在电气房内的场桥吊PLC连接。

本实施了中，相机阵列1中摄像机的具体数量，应根据不同的场桥吊形制确定，如对于某型只堆三层集装箱但跨距更长的场桥吊，可以不使用远摄组相机，从而相机阵列数量减少为只需12台。

实施例四

参照图4，基于三维视觉的堆场防碰撞系统，包括工控设备2和相机组4，工控设备2安装于岸桥吊5的电气房内，工控设备2用光纤相机组4，以接收作业现场数据，工控设备2用网线与同在电气房内的岸桥吊PLC连接。

本实施了中，由于岸桥吊海侧的横梁一般非常长，因此为了减少相机阵列所用的摄像机台数，将不同焦段5台相机集成安装在一边横梁的移动轨道上，5台相机分别负责拍摄从船舱最下层无箱，到本型号岸桥吊所能吊的最高18层箱，另一边横梁完全对称布置相机组，从而本实施例总共使用10台相机，同样的，对于不同的岸桥吊形制，可根据实际情况增加或减少所用相机个数。

以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。