具有自动跟踪变倍功能的塔机视频监控系统及监控方法

摘要

本发明公开了一种具有自动跟踪变倍功能的塔机视频监控系统，本发明还公开了一种具有自动跟踪变倍功能的相应的塔机视频监控方法，实施步骤是：以吊钩上的标志物为跟踪目标图像，采用图像处理技术，通过实时检测目标物面积及质心变化实现自动变倍与跟踪，获取图像序列，目标特征提取，目标特征匹配以及目标搜索定位；针对塔机运行中存在晃动的情况，采用了颜色直方图和形状特征相结合，然后根据塔机实际工况，对现有的基于目标颜色直方图分布的均值平移跟踪算法进行了改进，实现了塔式起重机环境下的目标跟踪。本发明的系统及方法，具有摄像头倍率自动调整及跟踪功能，使得塔机操作员在控制室中能实时看清被吊物体及其周边情况。

说明书

技术领域

本发明属于测控监控技术领域，涉及一种具有自动跟踪变倍功能的塔机视频监控系统，本发明还涉及一种具有自动跟踪变倍功能的塔机视频监控方法。

背景技术

塔式起重机(以下简称塔机)属于高空作业设备，操作室位于塔吊顶端，工作过程中，塔机操作人员往往看不清地面情况，为了使塔机能完成所需要的作业，一般需要地面指挥人员与塔机操作员进行配合，塔吊操作人员按照指挥人员的指令对起重机进行操纵。这种操作方式下，一方面，如果指挥人员的责任心不强、个人能力不够，很容易发生安全事故；另一方面，塔吊司机由于无法看清工作环境，操作比较盲目，工作时精神比较紧张，容易疲劳而造成严重事故。因此，解决塔机操作员工作时的可视化问题，是提高建筑施工安全的有效方法。

现有的塔机视频监控装置，如专利《塔式吊车视野监视装置》(专利号ZL01239897.7，公开号CN2474505Y，公开日2000.1.30)和专利《塔式起重机可视监控装置》(专利号ZL200520017117.7，公开号CN2813563Y，公开日2006.9.6)，在一定程度上缓解了指挥人员与塔机司机之间协作的问题，但这些设备自动化程度较低，在工作过程中，需要塔机操作人员根据情况随时对摄像头倍率进行手动调整，因此，现有的塔机视频监控装置可操作性不好，操作过程中容易导致塔机操作人员顾此失彼，误操作。

发明内容

本发明的目的是提供一种具有自动跟踪变倍功能的塔机视频监控系统，解决了现有技术中存在的，工作时塔机操作人员需要随时手动控制摄像头倍率的调整，系统的可操作性不好，工作效率较低；还容易顾此失彼，导致误操作的问题。

本发明的另一目的是提供一种具有自动跟踪变倍功能的塔机视频监控方法。

本发明所采用的技术方案是，一种具有自动跟踪变倍功能的塔机视频监控系统，包括前端的摄像部分、中间的信号传输部分以及后端的控制、显示及记录部分，摄像部分安装于塔机的变幅小车上，摄像头的镜头垂直向下，在吊钩上设置目标物，用于将摄像头所监控的内容转化为图像信号，并把信号传送到控制、显示及记录部分的显示器上；信号传输部分，用于将摄像部分与控制、显示及记录部分连接；控制、显示及记录部分安装在塔机操作室内，摄像头通过解码器与控制、显示及记录部分连接，用于控制云台及摄像头的变倍，以及对视频信号实时处理及显示。

本发明所采用的另一技术方案是，一种具有自动跟踪变倍功能的塔机视频监控方法，先将摄像部分安装于塔机的变幅小车上，摄像头的镜头垂直向下，在吊钩上设置形状规则的目标物，再通过信号传输部分连接摄像部分和控制、显示及记录部分，控制、显示及记录部分安装在塔机操作室内，摄像头通过解码器与控制、显示及记录部分连接，调整摄像头，使得目标物能够清晰地显示在图像中，并选定跟踪目标，在塔机运行过程中，根据目标物面积及质心变化自动调整摄像头倍率以及云台角度实现摄像头自动变倍与跟踪，保证目标物始终清晰地显示在控制、显示及记录部分的显示器图像中，具体实施步骤如下：

步骤1、初始化跟踪目标物的窗口中的图像M，图像M中要包含整个目标物；

步骤2、提取跟踪目标图像M，并将目标图像M按照以下公式将像素点的颜色空间从RGB颜色空间转换到HSV颜色空间，得到跟踪目标图像M′_HSV：

V＝max(R，G，B)                    (1)

$S=\left(\begin{array}{cc}\frac{V-\min (R,G,B)}{V}& V\ne 0\\ 0& V=0\end{array}\right)---\left(2\right)$

$H=\left(\begin{array}{cc}\frac{(G-B)*60}{S}& V=R\\ 180-\frac{(B-R)*60}{S}& V=G\\ 240+\frac{(R-G)*60}{S}& V=B\end{array}\right)---\left(3\right)$

当H＜0时，则H＝H+360

其中，H表示色调，S表示饱和度，V表示亮度；R，G，B分别表示红、绿、蓝，通过公式(1)、(2)、(3)，将目标图像M中每个像素点从RGB转换到HSV空间，得到跟踪目标图像M的HSV模型M′_HSV；

步骤3、对步骤2得到的跟踪目标图像M的HSV模型M′_HSV中每个像素的H通道上的值进行采样，从而得到跟踪目标图像M的颜色直方图，将该颜色直方图作为跟踪目标图像M的颜色直方图模型；

步骤4、初始化当前搜索窗口的位置和大小，当前搜索窗口要包含整个跟踪目标的目标物；

步骤5、生成当前搜索窗口的颜色概率分布图，将当前搜索窗口的每一个像素用跟踪目标图像M的颜色直方图中相应像素的统计量代替，然后将得到的结果重新量化，即将H分量的范围量化到[0，255]，得到当前搜索窗口的颜色概率分布图；

步骤6、利用Meanshift迭代算法，得到当前搜索窗口中，所跟踪目标颜色的面积及质心：

将当前搜索窗口图像转化为颜色概率分布图，通过Meanshift算法找出该颜色概率分布图的质心及面积，具体步骤如下：

6.1)计算当前搜索窗口图像的零阶矩M₀₀：

$M_{00}=\underset{x}{\Sigma }\underset{y}{\Sigma }I(x,y)---\left(5\right)$

其中，I(x，y)为图像中点(x，y)处的像素值，(x，y)在当前图像窗口范围内取值；

6.2)计算当前搜索窗口图像x轴和y轴方向的一阶矩：

$M_{10}=\underset{x}{\Sigma }\underset{y}{\Sigma }\mathrm{xI}(x,y)---\left(6\right)$

$M_{01}=\underset{x}{\Sigma }\underset{y}{\Sigma }\mathrm{yI}(x,y)---\left(7\right)$

则质心c的坐标为：$x_c=\frac{M_{10}}{M_{00}},$$y_c=\frac{M_{01}}{M_{00}}---\left(8\right)$

6.3)重新设定搜索窗口的大小s：

$s=2\sqrt{M_{00}/256}---\left(9\right)$

6.4)重复步骤6.1)至步骤6.3)，得到下一步新搜索窗口的质心c′(x′_c，y′_c)与新搜索窗口的大小s′，迭代过程中，当质心位置变化小于给定的阈值ε，即‖c′-c‖≤ε，达到收敛，停止迭代；

迭代计算的过程中，搜索窗口的尺寸不断的变化，直到最后迭代质心位置变化小于给定的阈值就达到收敛，即得到当前搜索窗口中跟踪目标物图像的面积s及质心c，将以此作为摄像头变倍以及跟踪移动的参考，如果迭代结果的搜索窗口s面积增大，则控制摄像头倍率增大；如果搜索窗口s面积减小，则减小摄像头倍率；同时，根据质心位置相对变化方向，同步调整云台俯仰运动；

在摄像头自动变倍跟踪过程中，每次Meanshift算法收敛结束，摄像头倍率将按需要调整1倍，云台俯仰角调整1度，然后转入下一步，进行连续图像跟踪；

步骤7：Camshift算法是对连续图像序列使用颜色直方图作为特征，对连续视频图像的所有帧作MeanShift运算，并利用每帧结果的搜索窗口大小变化控制摄像头变倍，然后得到下一帧新图像，重新进行MeanShift迭代，如此迭代下去，直到搜索窗口的大小变化小于阀值ε，从而实现自动变倍，

采用改进的Camshift算法对塔机标志物进行跟踪，改进的CamShift算法步骤如下：

7.1)初始化搜索窗口的大小和位置；

7.2)计算搜索窗内的颜色概率分布；

7.3)运行Meanshift迭代算法，如果迭代不收敛，转入步骤8；如果迭代收敛，则得到搜索窗口的大小s和位置c，继续下一步；

7.4)控制摄像头的倍率以及云台运动，如果搜索窗口面积s增大，则相应增大摄像头倍率，相反搜索窗口面积s减小，则减小摄像头倍率，在跟踪过程中，摄像头倍率以每次1倍为单位进行调整；

7.5)摄像头倍率以及云台调整后，将得到一帧新的搜索图像，并以步骤7.3)得到的索窗口的大小s和位置c初始化新的搜索窗口，再跳转到步骤7.2)步重新进行Camshift跟踪过程，在整个跟踪过程中，迭代从而实现吊钩运动过程中，标志物的跟踪；

步骤8、当搜索窗口的迭代次数或相对距离变化或窗口大小变化超过一定的阈值，则提取当前运动物体的轮廓，进行形状判断，判断运动物体形状重新衡量运动物体是否消失，如果运动目标与目标标志物形状一致，则继续跟踪；如果不一致，则使搜索窗口回到整个跟踪算法的最初始位置，即摄像头下方，重新启动Camshift跟踪算法，等待所设形状的目标物出现，Meanshift迭代算法收敛，则重新开始控制摄像头倍率以及云台运动，进入新一轮的倍率调整以及跟踪。

本发明的有益效果是，塔机视频监控具有自动跟踪变倍功能，该视频监控系统镜头倍率能够根据周围环境自动调节，使得塔机操作人员能在控制室通过显示设备实时看清被吊物体及其周边的情况，从而进行正确的操作，减轻塔机操作人员的劳动强度，同时，有效避免由于指挥失误造成的重大事故，提供更为安全的建筑施工环境。

附图说明

图1是本发明的视频监控系统的结构示意图；

图2是本发明的视频监控系统的安装位置示意图；

图3是现有的RGB颜色模型示意图；

图4是现有的HSI颜色模型示意图；

图5是本发明方法中的改进的目标跟踪Camshift算法流程图。

图中，1.摄像部分，2.信号传输部分，3.控制、显示及记录部分，4.跟踪目标，5.摄像头，6.解码器，7.计算机，8.视频采集卡，9.传输介质。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

如图1、图2所示，本发明监控系统的结构是，包括摄像部分1、中间的信号传输部分2以及控制、显示及记录部分3，摄像部分1安装于塔机的变幅小车上，其中的摄像头5随变幅小车运动，而且镜头垂直向下，在吊钩上设置目标物4(本发明中采用球形的标志物)，目标物4始终保持在摄像头5的监视范围内，控制、显示及记录部分3安装在塔机操作室内，摄像部分1与控制、显示及记录部分3之间通过信号传输部分2中的传输介质连接，塔机操作人员通过控制、显示及记录部分3中的显示屏，便能够一直观察到被吊物及其周边状况。

摄像部分1包括摄像头5，该摄像头5附加设置有相应的防护罩、支架和云台，摄像头5与解码器6连接，解码器6的功能是将摄像头5所监控的内容转化为图像信号，并把信号传送到控制、显示及记录部分3的显示器上。

信号传输部分2是系统图像信号、控制信号、电源信号的通道，承担着图像数据流、控制信号、电源信号的传输工作，传输介质9相应采用视频线、电源线、控制线。

控制、显示及记录部分3是整个监控系统的核心，主要包括两部分功能，一是控制云台及摄像头5的变倍；二是完成对视频信号实时显示功能。考虑到塔机操作室空间狭小，不适于放置较大较多的物品，控制、显示和记录部分3采用了具有触摸功能的平板电脑。

本发明的塔机视频监控系统，利用图像处理技术完成变焦摄像头5的自动跟踪与变倍，其工作原理是：将吊钩上设置的目标物4作为监控系统跟踪的目标，当塔机有起升或下降运动，摄像头5的图像信息中目标物4的面积会发生变化，根据此特点，系统通过图像处理算法，实时计算目标物4面积的变化，作为控制摄像头5自动变倍的依据，实现自动跟踪，从而保证塔机操作人员在工作中，视觉效果最好。为了保证跟踪的快速与有效，本发明的控制、显示及记录部分3中，采用了改进的Camshift算法，将颜色与面积结合作为跟踪目标；同时，在特殊情况下以标志物形状作为跟踪目标，从而提高跟踪效率；

本发明方法对现有的Camshift算法进行了改进，改进后的Camshift算法的工作原理是：首先确定跟踪目标目标物4的图像模型，然后指定第一帧搜索窗口位置及大小，用Meanshift算法跟踪搜索窗口中目标物4的质心及面积，如果算法收敛则利用计算结果调整摄像头倍率，并控制云台，同时，利用计算结果初始化下一帧图像中新的搜索窗口位置及大小，并启动新一轮Camshift算法；如果算法不收敛，则通过形状特征来判断该物体是否为跟踪目标形状，如果是则继续跟踪，如果不是则放弃跟踪回到摄像头5下方等待目标物4再次出现。

本发明方法的具体实施步骤是：

首先调整摄像头5，使得目标物4能够清晰地显示在图像中，并选定跟踪目标，在塔机运行过程中，根据目标物4面积及质心变化自动调整摄像头倍率以及云台角度实现摄像头自动变倍与跟踪，保证目标物4始终清晰地显示在图像中，具体实现步骤如下：

步骤1、初始化跟踪目标物4的窗口中的图像M，要包含整个目标物4；

步骤2、提取跟踪目标图像M，并将目标图像M从RGB颜色空间转换到HSV颜色空间，得到跟踪目标图像M′_HSV；

(1)RGB模型

RGB颜色空间由红(R)，绿(G)，蓝(B)三种颜色组成，它是硬件设备最常用的一种彩色模型，多用于电视机和计算机的颜色显示系统。通过红，绿，蓝三种基色混合得到大多数的颜色。RGB颜色空间采用的是笛卡儿坐标系，三个轴分别为R，G，B。原点对应于黑色，离原点最远的顶点对应于白色而其它颜色则落在三维空间中由红绿蓝三基色组成的彩色立方体中，如图3所示，对角线从(0，0，0)到(1，1，1)代表的是从黑到白灰度变化。

(2)HSV模型

HSV模型(Hue saturation value)模型是一种对应于画家的配色模型，能较好反映人对颜色的感知和鉴别，HSV空间直接对应人眼色彩视觉特征的三要素(色相、明度和饱和度)，三个分量互相独立。如图4所示，HSV坐标系采用的是圆柱坐标并且所有的颜色定义在六棱锥中。色调(Hue)由物体反射光线中占优势的波长来决定的，不同的波长产生不同的颜色感觉。它不受色彩的鲜淡、明暗影响，它的取值范围是0到360；饱和度(Saturation)表示色彩鲜明浅淡的程度，即同一色相的色彩中掺杂白色的比例，若其中无白色混杂，称为纯色，而白色比例越低则色彩越鲜明，反之，就会变得越浅淡。它的取值范围是从0到1，当S＝1时得到最纯的颜色(并不是白色)；亮度(Value)表示色彩明暗的灰阶程度，如同音色的强弱。它的取值也是从0到1，取0值时得到黑色。

虽然RGB颜色空间是面向硬件设备最常用的一种颜色空间，但是在RGB颜色空间中RGB三个分量的相关性很大，也就是说在R，G，B某个分量发生变化时，其他分量也会跟着变化。另外光照强度的变化对RGB分量的值也会有较大的影响，这就给实际应用带来了很大的不便。相比较而言，图4所示的HSV颜色空间比RGB颜色空间更符合人的视觉特性，且HSV三个分量是独立的，可单独考虑，计算量比RGB颜色空间三个分量要小。因此将当前视频图像从RGB颜色空间转换到HSV颜色空间。

从GRB颜色空间到HSV颜色空间的转换算法有很多，尽管它们在运算速度、复杂性上有所不同，但是最后得到的H分量和S分量图像是基本相似的，本发明采用以下公式将像素点的颜色空间从RGB转换到HSV空间：

V＝max(R，G，B)                        (1)

$S=\left(\begin{array}{cc}\frac{V-\min (R,G,B)}{V}& V\ne 0\\ 0& V=0\end{array}\right)---\left(2\right)$

$H=\left(\begin{array}{cc}\frac{(G-B)*60}{S}& V=R\\ 180-\frac{(B-R)*60}{S}& V=G\\ 240+\frac{(R-G)*60}{S}& V=B\end{array}\right)---\left(3\right)$

当H＜0时，则H＝H+360

其中，H表示色调，S表示饱和度，V表示亮度；R，G，B分别表示红、绿、蓝。通过公式(1)、(2)、(3)，将目标图像M中每个像素点从RGB转换到HSV空间，得到跟踪目标图像M的HSV模型M′_HSV；

步骤3、对步骤2得到的跟踪目标图像M的HSV模型M′_HSV中每个像素的H通道上的值进行采样，从而得到跟踪目标图像M的颜色直方图，将该颜色直方图保存下来作为跟踪目标图像M的颜色直方图模型。

颜色直方图表征了图像颜色的分布频率，用颜色直方图描述图像的整体颜色特征。假设对于跟踪目标图像M，大小为I₁×I₂，每一分量值为C_k(C_k＝1，2，...，n)，定义一组像素的统计值h[C₁]，h[C₂]，...，h[C_n]为该图像的颜色频数：

其中h[C_k]为颜色值C_k在图像中的出现频数，T(M[i，j])为像素点(i，j)在颜色空间中的颜色值。以图像中的颜色级数为横坐标，颜色出现频率为纵坐标的图形就称为图像的颜色直方图。

在此需要考虑H分量的取值范围的问题，H分量的取值范围是[0，360]，这个取值范围的值不能用一个byte来表示，为了能用一个byte表示，本发明将H值做适当的量化处理，将H分量的范围量化到[0，255]。

步骤4、初始化当前搜索窗口的位置和大小，当前搜索窗口要包含整个跟踪目标的目标物4。

步骤5：生成当前搜索窗口的颜色概率分布图。将当前搜索窗口的每一个像素用跟踪目标图像的颜色直方图中相应像素的统计量代替，然后将得到的结果重新量化，即将H分量的范围量化到[0，255]，就得到当前搜索窗口的颜色概率分布图。为了减少时间的开销，本发明中将图像处理区域外的其他区域作为概率为0的区域。

步骤6：利用Meanshift迭代算法，得到当前搜索窗口中，跟踪目标颜色的面积及质心。

当前搜索窗口图像转化为颜色概率分布图后，Meanshift算法将找出该颜色概率分布图的质心及面积，计算步骤如下：

(6.1)计算当前搜索窗口图像的零阶矩M₀₀：

$M_{00}=\underset{x}{\Sigma }\underset{y}{\Sigma }I(x,y)---\left(5\right)$

其中，I(x，y)为图像中点(x，y)处的像素值，(x，y)在当前图像窗口范围内取值；

(6.2)计算当前搜索窗口图像x轴和y轴方向的一阶矩：

$M_{10}=\underset{x}{\Sigma }\underset{y}{\Sigma }\mathrm{xI}(x,y)---\left(6\right)$

$M_{01}=\underset{x}{\Sigma }\underset{y}{\Sigma }\mathrm{yI}(x,y)---\left(7\right)$

则质心c的坐标为：

$x_c=\frac{M_{10}}{M_{00}},$$y_c=\frac{M_{01}}{M_{00}}---\left(8\right)$

(6.3)重新设定搜索窗口的大小s：

$s=2\sqrt{M_{00}/256}---\left(9\right)$

(6.4)重复(6.1)步至(6.3)步，得到下一步新搜索窗口的质心c′(x′_c，y′_c)与新搜索窗口的大小s′，迭代过程中，当质心位置变化小于给定的阈值ε，即‖c′-c‖≤ε，达到收敛，停止迭代，其中ε的取值取决于工程所需要的精度，阈值ε取决于跟踪所要求的精度，在塔机自动跟踪变倍系统中，取5-8个像素。

迭代计算的过程中，搜索窗口的尺寸不断的变化，直到最后迭代质心位置变化小于给定的阈值就达到收敛，即得到当前搜索窗口中跟踪目标物图像的面积s及质心c，将以此作为摄像头变倍以及跟踪移动的参考，如果迭代结果的搜索窗口s面积增大，则控制摄像头倍率增大；如果搜索窗口s面积减小，则减小摄像头倍率；同时，根据质心位置相对变化方向，同步调整云台俯仰运动；

在摄像头自动变倍跟踪过程中，摄像头倍率调整以及云台的俯仰运动以步长口c为单位进行(该步长取值取决于跟踪的精度以及跟踪速率)，每次Meanshift算法收敛结束，调整摄像头倍率□c以及云台俯仰角，摄像头倍率将按需要调整1倍，云台俯仰角调整1度，然后转入下一步，进行连续图像跟踪；

步骤7：Camshift算法是对连续图像序列使用颜色直方图作为特征，对连续视频图像的所有帧作MeanShift运算，并利用每帧结果的搜索窗口大小变化控制摄像头变倍，然后得到下一帧新图像，重新进行MeanShift迭代，如此迭代下去，直到搜索窗口的大小变化小于阀值ε，从而实现自动变倍。

本发明中，采用改进的Camshift算法对塔机标志物进行跟踪；由于塔机工地环境复杂，不可避免的会有工地物品颜色与图像特征颜色相同的情况出现，因此，本发明采用形状和Camshift算法相结合的改进跟踪算法，改进的CamShift算法步骤如下：

(7.1)初始化搜索窗口的大小和位置；

(7.2)计算搜索窗内的颜色概率分布；

(7.3)运行Meanshift迭代算法，如果迭代不收敛，转入步骤8；如果迭代收敛，则得到搜索窗口的大小s和位置c，继续下一步；

(7.4)控制摄像头5的倍率以及云台运动，如果搜索窗口面积s增大，则相应减小摄像头倍率，相反搜索窗口面积s减小，则增大摄像头倍率。在跟踪过程中，摄像头倍率调整以1倍为单位进行；

(7.5)摄像头倍率以及云台调整后，将得到一帧新的搜索图像，并以(7.3)步得到的索窗口的大小s和位置c初始化新的搜索窗口，再跳转到第(7.2)步重新进行Camshift跟踪过程。在整个跟踪过程中，迭代从而实现吊钩运动过程中，标志物的跟踪。

步骤8：当搜索窗口的迭代次数或相对距离变化或窗口大小变化超过一定的阈值，说明Camshift跟踪计算出现问题，则提取当前运动物体的轮廓，进行形状判断，判断运动物体形状重新衡量运动物体是否消失，如果运动目标与目标标志物一致(本算法中为圆形)，则继续跟踪；如果不一致，则让搜索窗口回到整个跟踪算法的最初始位置，即摄像头5下方，重新启动Camshift跟踪算法，等待圆形目标标志物出现，Meanshift迭代算法能够收敛，并重新开始控制摄像头倍率以及云台运动，进入新一轮的倍率调整以及跟踪。