一种基于主动视觉技术的起重机远程操作用监控系统及其实现方法

摘要

本发明公开一种基于主动视觉技术的起重机远程操作用监控系统，包括有主控机和摄像设备，其中，主控机安装有图像处理软件，并通过数据I/O接口与服务器连接配合，摄像设备摄取集装箱装卸现场图像，并由所述主控机控制、处理获得各操作步骤所需要关注的关键部位的图像，将关键部位的图像传输至显示设备显示，操作者根据所述显示设备上显示的图像在操作室中远程操控起重机完成集装箱的装卸工作。本发明的优点在于：利用主动视觉技术，通过摄像设备摄取操作现场图像，并处理获得各操作所需关注的关键部位的图像通过显示设备显示，实现各操作步骤的远程监控、操作，本监控系统投入成本低，维护简单，能实现全天候工作。

说明书

技术领域

本发明涉及集装箱码头或堆场用集装箱门式或桥式起重机远程操作用的视频监控技术，尤其涉及一种基于主动视觉技术的起重机远程操作用监控系统及其实现方法。

背景技术

集装箱码头或堆场作业时，集装箱起重机司机通常是坐在司机室弯着腰，低着头操作设备；操作时设备本身晃动就比较大，加上一直弯腰低头，司机很容易疲劳，且容易患腰椎或颈椎损伤等方面的职业病。改为远程操作，司机可坐在远离设备的工作环境较好的操作室内，面对显示器图像来操纵设备，可大大改善司机的作业环境，减小司机的体力消耗，如在此基础上实现起重机的半自动或全自动驾驶，一名司机可同时看几台设备，这样还可大大节省司机人工成本的投入，这在码头竞争日益激烈的今天，意义重大。

远程操作监控系统的核心是通过摄像机等传感器代替人眼将设备操作时所需的图像采集并传给远程的操作人员，尤其是其中抓箱过程中吊具与集装箱对准时的图像及卸箱时被吊集装箱底部箱角与拟被压的集装箱箱角、地面箱角划线、集卡拖板或集装箱船舱盖板或舱底上的集箱定位锁头对准的图像。目前常用的远程操作视频监控系统有两种，一种是基于激光扫描的系统，即通过安装在起重机上的激光扫描仪及摄像机，对堆放的集装箱堆存状况进行轮廓扫描及拍摄，将扫描的结果实时转换成三维的图形呈现在远程操作人员的显示器上，从而引导司机装卸集装箱，这种系统的缺点在于一次性投入大，维保成本高，且激光扫描仪在使用时，对环境要求很高，雾天、雨天、扫描镜头表面的灰尘都会对扫描结果产生影响。另一种是：直接在不同操作步骤时须看清楚的目标附近安装不同的摄像机，以拍取集装箱装卸操作作业所需的实时视频图像，如RTG及RMG为看清待卸集装箱与集卡车8车板的相对位置，就在鞍梁安装摄像头、为看清吊具与待抓集装箱的相对位置，就在吊具四个角上装上4个摄像头，为看清作业全景及待堆存相邻列位集装箱堆存情况，在司机室地底部装上3个摄像头。在不同操作步骤时上述摄像头将所需的实时视频拍摄，远传到中控室，作为司机操作的依据；上述方案的缺点不同步骤需不同的摄像头，需安装的摄像头众多，同时视频传输量大，所需视频设备及信号传送设备的成本高，传输所占带宽多。且由于拍摄的目标均在运动，故远程呈现的视频图像均有较大的变形，成像效果不直观，操作人员需从众多图像中挑选自己需要的图像，或将多个图像组合才能看清。这样远程操作台显示屏上图像多且不清晰，人机界面不理想，影响操作效率。

综上所述，现有的监控技术均是被动的系统，即均是将现场操作相关的场景全部无选择得呈现给操作司机，司机在操作时，还需在这些全场景图像中寻找、选择操作所需的关键部分的图像。这样一方面需远传给远程的司机操控台的视频图像占用的带宽大，所需设备成本高，另一方面司机操作时还在全景图中寻找、选择关键部位工作量大、效率也低。

随着科学的不断发展，主导视觉技术在不同的领域得到应用，它与传统视觉技术的区别在于1、主动性，即视觉系统根据需要有主动感知的能力；2、目的性。即视觉系统均是基于特定的任务和目的。主动视觉系统核心在于图像信息获取过程中，能主动调整摄像机参数（如方向、焦距、光圈大小等），使摄像机迅速对准感兴趣的物体。主导视觉技术强调注视机制，即强调对分布于不同空间范围不同时间段上的信号，采用不同的分辨率有选择地感知。这种主动感知既可通过在硬件层动通过对摄像机物理参数调整来实现，也可在基于被动摄像机的前提下，在算法和表示层上通过对已获的的数据有选择性的处理来实现，同时该视觉系统与操作有机联系，从而形成感知/作业循环。

发明内容

本发明所要解决的技术问题是针对现有技术的现状，提供一种基于主动视觉技术的起重机远程操作用监控系统，其利用主动视觉技术，由摄像设备摄取操作现场图像，并处理获得操作所需关注的关键部位的图像通过显示设备显示，实现远程监控、操作；成本低廉，维护简单，图像简洁、准确，操作效率高，受天气、环境影响小，能够全天候工作。

本发明解决上述技术问题所采用的技术方案为：

一种基于主动视觉技术的起重机远程操作用监控系统，包括有主控机和摄像设备，其中，主控机安装有图像处理软件，并通过数据I/O接口与服务器连接配合，摄像设备摄取集装箱装卸现场图像，并由所述主控机控制、处理获得各操作步骤所需要关注的关键部位的图像，将关键部位的图像传输至显示设备显示，操作者根据所述显示设备上显示的图像在操作室中远程操控起重机完成集装箱的装卸工作。

优化的技术措施还包括：

上述的摄像设备为一台带智能云台的双镜头的主动摄像设备或2台带智能云台的单镜头主动摄像设备。

上述的主动摄像设备由图像处理软件通过模式匹配主动寻找关键部位，图像处理软件根据不同操作步骤所需关注的关键部位，提取所述关键部位图像及其数学特征，建立模式库，主动摄像设备摄取现场图像，并将图像中包含的子图像特征与模式库中该操作步骤对应关键部位的图像特征进行比对匹配，直到匹配成功后，找到图像中与该操作步骤对应关键部位，紧盯并聚焦摄取该关键部位图像。

上述的主动摄像设备还可通过设定预置位主动寻找关键部位，主动摄像设备预先根据各操作步骤关键部位相对于摄像机的相对位置，调整好摄像机智能云台及镜头参数使摄像机对准、聚焦关键部位，并将对应的智能云台及镜头参数设定为与该操作步骤联锁的预置位，设备执行操作指令时，摄像机自动调整智能云台及镜头至该指令对应操作步骤的预置位，摄取关键部位图像。

上述的主动摄像设备通过激光测距仪主动寻找关键部位，激光测距仪安装于小车架上，根据所述激光测距仪测量换算得到摄像头到关键部位的垂直距离，由主控机根据该垂直距离换算得出摄像机对准关键部位时镜头中心线与水平方向的夹角及摄像头到关键部位的距离，进而控制调整智能云台及摄相机镜头，摄取关键部位图像。

上述的主动摄像设备通过生产及操作指令主动寻找关键部位，根据生产及操作指令信息获得关键部位的实时高度，换算得到摄像头到关键部位的垂直距离，由主控机根据该垂直距离换算得出摄像机对准关键部位时镜头中心线与水平方向的夹角及摄像头到关键部位的距离，进而控制调整智能云台及摄相机镜头，摄取关键部位图像。

上述的摄像设备也为至少两台能够拍摄操作现场全景图像的被动摄像设备。

上述的被动摄像设备由图像处理软件通过模式匹配获取关键部位图像，图像处理软件根据不同操作步骤所需关注的关键部位，提取所述关键部位图像及其数学特征，建立模式库，被动摄像设备摄取现场全景图像，图像处理软件结合设备操作指令通过模式匹配从全景图像中获取仅含该操作指令对应的操作步骤的关键部位的局部图像。

上述的关键部位为吊具旋锁或吊具导板、集装箱箱角或箱角上的锁孔、集卡拖板的锁销或锁孔、画于地面的箱角线、集装轮船上堆放的集装箱顶部锁孔、或船舱底部或仓盖板上固定集箱的锁头。

一种基于主动视觉技术的起重机远程操作用监控系统的实现方法：包括以下步骤：

步骤一：摄像设备等待操作步骤对应的设备操作指令；

步骤二：接收设备操作指令自动触发摄像设备工作，摄像设备摄取集装箱装卸现场图像，并与装有图像处理软件的主控机配合获取该设备操作指令对应操作步骤所需要关注的关键部位的图像；

步骤三：将关键部位的图像传输至显示设备显示；

步骤四：操作人员根据显示设备显示的关键部位的图像在操作室远程完成该操作；

步骤五：该步骤操作完成后，摄像设备等待下一操作步骤的指令。

本发明的一种基于主动视觉技术的起重机远程操作用监控系统，利用主动视觉技术，通过摄像设备摄取操作现场图像，并处理获得各操作步骤所需关注的关键部位的图像通过显示设备显示，实现远程监控、操作；可以采用主控机控制的主动摄像设备，通过模式匹配或者设定预置位或与激光测距仪配合的方法来调整主动摄像设备智能云台的角度主动寻找关键部位，找到目标后自动调整主动摄像设备聚焦关键部位，自动调整光圈、调整焦距，获得关键部位的清晰的图像；也可以采用被动摄像设备，通过图像软件运用算法对已获得的包含有该步骤操作所需关注的关键部位全景图像流数据有选择性的处理，提取出其中操作所关注的关键部位的局部图像，以达到看清关键部位的目的。本主动视觉监控系统最终远程传输给显示设备的图像均是该操作步骤所需要的关键部位的局部的清晰的图像，因而视频传输所占带宽相对小，显示设备上显示的成像简单，清晰，克服了现有系统需要采集输送大量杂乱的视频流，视频传输占用带宽大的缺点；本主动视觉技术的监控系统的显示设备上始终聚焦显示的都是操作所需的关键部位的图像，克服了现有系统需要司机需从大量图像中寻找所需关键部位图像，减少了司机的工作量，提高操作效率；本监控系统投入成本低，维护简单，能实现全天候工作。

 

附图说明

图1是本发明的框架示意图；

图2是本发明的远程操作用监控系统吊装集装箱的流程图；

图3是本发明的装置安装示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

其中的附图标记为：主控机1、摄像设备2、服务器3、显示设备4、数据I/O接口5，小车架6、吊具7、集卡车8、司机室9。

实施例一：

本发明的一种基于主动视觉技术的起重机远程操作用监控系统，包括有主控机1和摄像设备2，其中，主控机1安装有图像处理软件，并通过数据I/O接口5与服务器3连接配合，摄像设备2摄取集装箱装卸现场图像，并由所述主控机1控制、处理获得各操作步骤所需要关注的关键部位的图像，将关键部位的图像传输至显示设备4显示，操作者根据所述显示设备4上显示的图像在操作室中远程操控起重机完成集装箱的装卸工作。

实施例中，关键部位为吊具7旋锁或吊具7导板、集装箱箱角或箱角上的锁孔、集卡拖板的锁销或锁孔、画于地面的箱角线、集装轮船上堆放的集装箱顶部锁孔或船舱底或舱盖板上固定集箱的锁头。根据不同操作步骤，所需关注的关键部位不同，抓取集装箱时，所需关注的关键部位是吊具7旋锁或吊具7导板或者是待抓箱顶部箱角或箱角上的锁孔，在卸集装箱到集卡车8上时，关键部位为集卡车8拖板上的锁销，在卸集装箱到堆场上时，关键部位为待堆箱顶部的箱角的锁孔或者堆场底面上画的箱角线，在吊装集装箱到集装箱轮船上时，关键部位为集装轮船上堆放的集装箱顶部锁孔或船舱底或舱盖板上固定集箱的锁头。

上述的主控机1为工业电脑或PLC控制器；上述的显示设备4为LCD显示器或LED显示器。

实施例中，摄像设备2为一台带智能云台的双镜头的主动摄像设备或2台带智能云台的单镜头主动摄像设备；智能云台能够水平方向和垂直方向转动，使安装在其上面的摄像机可以360度无死角拍摄，采用双镜头摄像机可以同时捕抓两个目标，使在操作室远程操作的操作员能够实时掌握吊具7和集装箱的位置状态，方便其准确、快速地完成操作。

主动摄像设备安装于司机室的下方；安装位置在小车架6下司机室9下方与操作员正常操作时两眼大致平齐的直线两端，使操作员在操作室远程操作时，从显示设备4中看到的图像更为接近操作员在司机室中正常操作时所看到的图像，从而使其能够准确、快速地完成操作。

实施例中，主动摄像设备由图像处理软件通过模式匹配主动寻找关键部位，事先在主控机1上安装图像处理软件，由图像处理软件根据不同操作步骤所需关注的关键部位，提取所述关键部位图像及其数学特征，建立模式库，并建立设备操作指令与关键部位的对应关系；当操作者操作设备时，主动摄像设备根据不同的操作步骤对应的设备操作指令，确定对应的关键部位，并将摄取现场图像所含子图像特征与模式库中该关键部位特征逐一进行比对，直到模式匹配后成功后，自动调整智能云台及摄像机镜头紧盯聚焦关键部位，并把关键部位的图像传输至显示设备4上。

主动摄像设备也可以通过设定预置位主动寻找关键部位，主动摄像设备预先根据各操作步骤关键部位相对于摄像机的相对位置，调整好摄像机智能云台及镜头参数使摄像机对准、聚焦关键部位，并将对应的智能云台及镜头参数设定为与该操作步骤联锁的预置位，设备执行操作指令时，摄像机自动调整智能云台及镜头至该指令对应操作步骤的预置位，摄取关键部位图像。

主动摄像设备预先根据各操作步骤设定预置位，其接收操作指令自动调整智能云台及摄像机镜头至预置位摄取关键部位图像；在市面很容易购得能够设定预置位的主动摄像设备，根据主动摄像设备的不同，每台摄像设备2可以设定30个至50个，甚至上百个不同的预置位，不同的操作指令对应不同的预置位。

主动摄像设备还可以通过激光测距仪确定关键部位距摄像机的垂直距离，进而通过主控机根据垂直距离调整智能云台及摄像机来主动寻找关键部位，激光测距仪安装于小车架6上，根据所述激光测距仪测量换算可得到摄像头到关键部位的垂直距离，由于关键部位距距摄像机水平方向距离是定值，由主控机根据该垂直距离换算得出摄像机对准关键部位时镜头中心线与水平方向的夹角及摄像头到关键部位的距离，进而由主控机1控制调整控制调整智能云台及摄相机镜头，即可实现摄取关键部位图像。在市面很容易购得激光测距仪，将激光测距仪装在小车架6下，小车运行到作业列，开始动起升时，此时小车架6位于待作业箱的正上方，激光测距仪工作，能准确测得该列上离小车架6最近一层的箱的高度，不管是抓箱还是放箱，对位操作时关键部位均是最近一层箱的顶部的锁孔，根据该高度和主动摄像设备对准锁孔时镜头轴线与垂线的夹角是一一对应三角函数关系，用PLC通过简单的程序控制智能云台调整角度即可实现对准操作步骤所需的关键部位；智能云台角度调整时速度与吊具7起升速度相匹配，视觉效果与现场操作基本无异，这样就实现主动寻找关键部位过程，达到聚焦操作所需关键部位的图像的目的。

激光测距仪测量距离和主动摄像设备轴线与垂线的夹角的对应三角函数关系如下：激光测距仪测量到的主动摄像设备到关键部位的垂直距离H，关键部位与主动摄像设备水平距离B，则主动摄像设备轴线与水平方向夹角A=arctgH/B。

主动摄像设备还可以通过生产及操作指令主动寻找关键部位，根据生产及操作指令信息获得关键部位的实时高度，换算得到摄像头到关键部位的垂直距离，再由主控机根据该垂直距离换算得出摄像机对准关键部位时镜头中心线与水平方向的夹角及摄像头到关键部位的距离，进而控制调整智能云台及摄相机镜头，摄取关键部位图像。集装箱的尺寸规格一般分为20尺和40尺，根据吊具7所处的高度是20尺还是40尺，调整智能云台的水平角度，如果操作步骤中关键部位是吊具7旋锁，根据起升译码器可知吊具7实时高度，主动摄像设备与起升机构都安装在小车架6上，主动摄像设备对准吊具7旋锁时，智能云台垂直方向夹角与吊具7离地高度有一一对应的三角函数关系，通过起升译码器获得的高度数据通过程序控制智能云台垂向角度即可对准吊具7旋锁。同理动起升时，吊具7通常位于待吊箱、待卸集卡、待卸集箱或地面的正上方，由生产作业指令可知集卡托板高度、集箱高度、堆场内待抓箱高度（堆放集箱层数及各层高度累加）、待放箱顶高度（下面堆放集箱层数及各层高度累加）、地面高度，由于这些高度值与主动摄像设备对准这些关键部位时的垂向夹角有一一对应的三角函数关系，因此根据生产作业指令获得的关键部位离地高度数据通过相应的函数关系，用PLC通过程序控制智能云台垂向角度即可对准操作步骤所需的关键部位。

摄像设备2与所述服务器3以及显示设备4之间采用无线传输连接，采用无线传输的好处在于避免在设备之间架设传输线，减少设备检修的工作量和可能造成的安全隐患。当然也可通过有线方式进行传输。

作为拓展功能，还可通过模式匹配及尺寸测量软件对视野内的视频图像进行实时处理，测出吊具7两旋锁与集装箱锁孔，被吊的集箱底部两箱角与下方的集箱顶部箱角或地面箱角线，被吊集箱底部锁孔与集卡车8拖板上的定位锁头或锁孔的前后、左右方向的偏差量，进而算出X轴、Y轴偏差值及水平面内的倾转角度，输出到主控机1，引导起重机大车、小车、倾转机构做相应调整直至偏差值缩小的允许范围，这样就能够在半自动基础上实现了起升操作或对位操作的全自动改造。

在主控机1上安装图像识别软件，可对本监控系统作进一步拓展，在吊装集装箱的同时，可对集装箱的箱号进行摄取，并通过图像识别软件识别箱号后与操作指令中的箱号进行比对，正确则确认指令并执行，不正确，则报警提醒操作员；这样可以减少系统及作业差错，并进一步减少操作员的工作强度。

此外，本监控系统还可以拓展自动保护功能。当操作员远程操作时，起重机需半自动驾驶以进一步减少操作人员，提高操作效率；即同一箱区内起重机大车、小车均根据操作指令，在GPS或译码器引导下，自动驾驶到相应的贝位和列位。起升吊具7或吊具7带箱通过操作指令获取该列位已有集箱堆放层数及箱高，自动算出已堆存的集装箱总高，通过起重机主控PLC及起升译码器，在距离已堆箱总高上方一米左右的上方设定起升自动停止，改为人工操纵完成精准的对箱操作。相对应的，本监控系统通过拓展自动保护功能，通过图像识别和尺寸测量，实时监控吊具7或待放集装箱与已堆箱的距离，当距离已堆箱高1米以内时，强制起升停止，这样可避免操作指令出错或译码器出错的情况下，吊具7或吊着的集装箱不会因自动驾驶，砸坏集装箱或集卡，造成严重的安全事故。

一种基于主动视觉技术的起重机远程操作用监控系统的实现方法：包括以下步骤：

步骤一：摄像设备2等待操作步骤对应的设备操作指令；

步骤二：接收到该步骤的设备操作指令，自动触发摄像设备2工作，摄像设备2摄取集装箱装卸现场图像，并与装有图像处理软件的主控机1配合获取该设备操作指令对应操作步骤所需要关注的关键部位的图像；

步骤三：将关键部位的图像传输至显示设备显示；

步骤四：操作人员根据显示设备4显示的关键部位的图像在操作室远程完成该操作；

步骤五：该步骤操作完成后，摄像设备2等待下一操作步骤的指令。

如图2所示，使用本监控系统吊装集装箱的过程如下：

摄像设备2处于原始位置，等待指令，操作员通过操作手柄发出起升机构下降的指令，摄像设备2主动寻找吊具7的导板，聚焦吊具7导板后检查吊具7导板状态，吊具7导板状态不正常，立即报警并停止后续操作；吊具7导板状态正常，则继续操作，吊具7导板下降，摄像设备2的焦点随之下移，吊具7导板下降过程中摄像设备2始终聚焦吊具7导板，当下降至一定高度时，摄像设备2主动聚焦待抓集装箱上部的箱角，操作员根据显示设备4上显示的图像手动完成抓箱操作，抓箱完成确认闭锁信号；闭锁信号确认后，升起集装箱并平移到卸箱工位，摄像设备2焦点移至箱号拍摄，利用图像识别软件对箱号进行比对；箱号不正确，则立即报警并停止后续操作，箱号正确，则进行卸箱工作，根据卸箱位置的不同，摄像设备2主动寻找不同的关键部位，卸集装箱到集卡车8上时，关键部位为集卡车8拖板上的锁销，在卸集装箱到堆场上时，关键部位为待堆箱顶部的箱角的锁孔或者堆场底面上画的箱角线，将箱装船时，关键部位位集装箱箱船上已堆的将被压放的集箱顶部锁孔或船上的锁头。操作员根据显示设备4上显示的图像远程操作手动完成对位、卸箱、开锁工作；卸箱完成后，空吊具7上升回位，摄像设备2也随之回位等待下一指令。

 

实施例二：

摄像设备2为两台能够拍摄操作现场全景图像的被动摄像设备。

被动摄像设备由图像处理软件通过模式匹配获取关键部位图像，图像处理软件根据操作步骤所需关注的关键部位，提取所述关键部位图像及其数学特征，建立模式库，被动摄像设备摄取现场全景图像，图像处理软件通过模式匹配从全景图像中找到并提取仅含关键部位的局部图像。被动摄像设备，在不同操作步骤下，主控机1控制包含有该步骤操作所需关注的关键部位图像的被动摄像设备工作，被动摄像设备拍摄视频流后，图像处理软件对已获得的视频流进行处理，提取出其中操作所关注的关键部位的局部图像。

本主动视觉监控系统最终远程传输给显示设备4的图像均是该操作步骤所需要的关键部位的局部的清晰的图像，因而视频传输所占带宽相对小，显示设备上显示的成像简单，清晰，克服了现有系统需要采集输送大量杂乱的视频流，视频传输占用带宽大的缺点；本主动视觉技术的监控系统的显示设备4上始终聚焦显示的都是操作所需的关键部位的图像，克服了现有系统需要司机需从大量图像中寻找所需关键部位图像，减少了司机的工作量，提高操作效率；本监控系统投入成本低，维护简单，能实现全天候工作。

本发明的最佳实施例已阐明，由本领域普通技术人员做出的各种变化或改型都不会脱离本发明的范围。