一种基于图像特征估计堆料体积变化率的方法

摘要

本发明属于视频监控、视频图像处理与分析技术及机器视觉技术领域，特别涉及一种基于图像特征估计堆料体积变化率的方法。该基于图像特征估计堆料体积变化率的方法，其特征是：包括以下步骤：（1）、根据摄像机拍摄的图像，获取前端采集的图像；（2）、根据获取的图像，设定基准堆料状态；（3）、分析基准堆料状态图像，估算其基准体积；（4）、达到设定的时间后，再次估算堆料体积；（5）、利用两次得到的体积值，计算体积变化率。本发明的有益效果是：实现了工业中堆料的智能监管，大大降低了投入成本，可实时自动检测堆料体积变化率，无需手动测量检测，避免了安装、维护测量设备、复杂的操作等过程。

说明书

（一）技术领域

本发明属于视频监控、视频图像处理与分析技术及机器视觉技术领域，特别涉及一种 基于图像特征估计堆料体积变化率的方法。

（二）背景技术

近年来，诸多的煤炭、钢铁、用于焚烧处理的垃圾资源等堆料物体失窃事件，令企业对 于工业中的堆料管理安全防范的需求越来越大。工业中的堆料安全管理是当今企业面临的 一大难题，尤其是钢铁、煤矿、电力、冶金、有色金属等行业的散堆原料安全管理更是生产管 理中重要的组成部分。传统的采用人工监控的方法已无法满足需求，实时、高效地检测出堆 料场原料的体积变化情况并及时发出报警信息，可为企业避免数以百万、千万计的成本资 金的流失。

在实际的物料管理中，人们在大多数情况下只关注物料体积有无变化和变化比 率，而并非关心具体物料体积的数值。在当前市场上安防产品和行业解决方案中，尚没有检 测堆料体积变化率的功能。然而，通常用于测量堆料体积变化率方法大致有三种：称重计量 法、非接触测量法和图像识别法。

称重计量法通过专用的出入通道采用地秤称量出入通道的货物。这种方法虽然能 够实现自动检测体积变化率，但对设备有较高的要求，成本较高，并且对计量的规范性操作 要求高，耗时耗力却不能达到节省资源的目的。

非接触测量法使用GPS测距、红外线测距或者激光测距来测量物体表面离探头的 距离，然后利用空间的三点能确定三维坐标的原理，将三个以上的探头数据进行拟合得到 物体的三维形态，之后对数字化物体重积分得到堆料的体积，经不同时段的两次测量可得 到体积的变化率。现有的一种基于动态三维激光扫描的大型不规则散粮堆体积测量方法， 该方法使用二维激光雷达扫描仪经导轨移动测量堆表面二维信息，并通过距离传感器获取 的行程数据相匹配，生成附以坐标的点云图阵，经曲面集合成不规则散粮堆形貌，进而给出 其体积。该方法硬件结构复杂，安装、维护不便，检测设备价格昂贵、操作复杂，各装置间通 过电缆连接，而电缆的长度有限，一旦堆料场的长度超过原有电缆的长度，就需要重新调配 和布置。其次，利用设备返回的数据进行堆料表面建模需经过激光光斑提取、三维坐标计 算、地面点过滤、离散点云处理等过程，耗费时间长，不适用于实时场景，因此不能得到大规 模的应用。

图像识别法是从两个以上的观测点来观测同一物体，获取不同观测角的图像，再 利用三角测量计算不同视角图像的视差，从而得到物体的三维立体数据。该类方法需要利 用多个摄像机拍摄的不同角度的场景，同时需要很多复杂的技术过程：立体匹配、三维信息 恢复、匹配精度等，计算过程复杂，耗时长。

（三）发明内容

本发明为了弥补现有技术的不足，提供了一种基于图像特征估计堆料体积变化率的方 法，可实时自动检测堆料体积变化率，无需手动测量检测，避免了安装、维护测量设备、复杂 的操作等过程，大大降低了投入成本，提高了测量效率。

本发明是通过如下技术方案实现的：

一种基于图像特征估计堆料体积变化率的方法，其特征是：包括以下步骤：

（1）、根据摄像机拍摄的图像，获取前端采集的图像；

（2）、根据获取的图像，设定基准堆料状态；

（3）、分析基准堆料状态图像，估算其基准体积；

（4）、达到设定的时间后，再次估算堆料体积；

（5）、利用两次得到的体积值，计算体积变化率。

优选的，在步骤（2）中，选取某一时刻的视频图像，取该时刻的堆料状态作为测定 体积变化率的基准状态，以基准状态的堆料体积作为初始体积，在此基础上检测堆料体积 的变化。

优选的，在步骤（3）中，估算堆料基准体积的步骤为：提取图像特征，识别出图像中 的堆料区域；建立堆料区域的三维立体模型，将建立的三维立体模型与图像中的堆料区域 进行融合，得到堆料的立体估计模型；计算该立体模型的体积，将其作为测量堆料体积变化 率的体积估计值。

优选的，在步骤（4）中，达到设定的时间后，再一次根据当前的堆料状态按步骤（3） 的方法估算堆料的体积。

优选的，在步骤（5）中，根据设定的堆料基准状态，利用获取的基准状态立体模型 的体积值，与后续得到的立体模型体积，得到堆料体积变化率。

本发明的有益效果是：实现了工业中堆料的智能监管，解决了传统监控技术中单 纯通过人工监控进行堆料安全防范存在的耗费高、效率低等问题；仅利用一个摄像机拍摄 的场景，大大降低了投入成本；对单幅二维图像进行识别，依据堆料的形态特征进行三维估 计建模，避免了依据激光光斑距离及坐标信息经地面点过滤进行三维立体重建等复杂的过 程；设定基准时刻的堆料状态，可实时自动检测堆料体积变化率，无需手动测量检测，避免 了安装、维护测量设备、复杂的操作等过程。

（四）附图说明

下面结合附图对本发明作进一步的说明。

附图1为本发明的工作流程图；

附图2为本发明的估算基准体积流程图；

附图3为本发明的堆料区域提取流程图；

附图4为本发明的三维立体建模流程图；

（五）具体实施方式

附图为本发明的一种具体实施例。该实施例包括以下步骤：（1）、根据摄像机拍摄的图 像，获取前端采集的图像；（2）、根据获取的图像，设定基准堆料状态；（3）、分析基准堆料状 态图像，估算其基准体积；（4）、达到设定的时间后，再次估算堆料体积；（5）、利用两次得到 的体积值，计算体积变化率。在步骤（2）中，选取某一时刻的视频图像，取该时刻的堆料状态 作为测定体积变化率的基准状态，以基准状态的堆料体积作为初始体积，在此基础上检测 堆料体积的变化。在步骤（3）中，估算堆料基准体积的步骤为：提取图像特征，识别出图像中 的堆料区域；建立堆料区域的三维立体模型，将建立的三维立体模型与图像中的堆料区域 进行融合，得到堆料的立体估计模型；计算该立体模型的体积，将其作为测量堆料体积变化 率的体积估计值。在步骤（4）中，达到设定的时间后，再一次根据当前的堆料状态按步骤（3） 的方法估算堆料的体积。在步骤（5）中，根据设定的堆料基准状态，利用获取的基准状态立 体模型的体积值，与后续得到的立体模型体积，得到堆料体积变化率。

采用本发明的一种基于图像特征估计堆料体积变化率的方法，具体步骤如下：

步骤101，根据摄像机拍摄的图像，获取前端采集的图像。

步骤102，根据获取的图像，设定基准堆料状态。

步骤103，分析基准堆料状态图像，估算基准体积。

步骤104，达到设定的时间后，再次估算体积。

步骤105，利用两次得到的体积值，计算体积变化率。

步骤102中，选取某一时刻的视频图像，设定该时刻的堆料状态作为测定体积变化 率的基准状态。以基准状态的堆料体积作为初始体积，在此基础上检测堆料体积的变化，进 而进行体积变化率的计算。

步骤103中，根据图像特征估算基准状态的堆料体积，作为测定体积变化率的基准 体积。将前端采集的视频图像进行灰度化处理，得到其灰度图像；针对灰度图像提取能够区 分堆料区域与非堆料区域的相关特征，识别出图像中的堆料区域；依据图像中堆料的实际 外貌形态设置模型参数并建立相应的立体模型；将建立的立体模型与图像中的堆料区域进 行融合，也就是将立体模型对应的非堆料部分进行裁剪，从而得到堆料的立体估计模型；计 算该立体模型的体积作为测量堆料体积变化率的体积估计值。如图2所示为体积估算的具 体实施方法。

步骤201，对前端采集的视频图像进行灰度化处理，得到其灰度图像。若获取的YUV 格式的待处理视频，只取出其Y分量即可。

步骤202，对上述处理得到的灰度图像进行堆料区域提取，将堆料区域作为后续处 理的感兴趣区域。将灰度图像分为大小相同的无重叠的图像块，利用每个灰度图像块提取 特征，依据得到的特征图像进行堆料区域初步提取，在此基础上进一步处理从而确定图像 中的堆料区域。如图3所示为堆料区域提取的具体实施方法。

步骤301，对图像进行分块。按照预设尺寸，将上述所得灰度图像划分成大小相同 的图像块，使相邻的图像分块之间没有重叠像素。

步骤302，分别在各个图像块提取用于图像中区分堆料区域与非堆料区域的特征。 本实施例中以信息熵特征为例，提取每个图像块的信息熵特征。其计算公式如下：

其中，p(z_i)表示图像块中像素灰度值为i的个数占图像块像素个数的比率，L为图像的 灰度级。

步骤303，依据上述得到的特征图像进行堆料区域粗提取。本实施例中，设置信息 熵特征阈值，将所得特征图像进行二值化处理，从而得到包含堆料区域及干扰区域在内的 多个连通区域；然后对二值化图像中的连通区域进行填充操作，以获取比较完整的堆料区 域粗提取结果。

步骤304，对上述粗提取的堆料区域结果进一步分析，去除干扰部分，从而确定堆 料区域。本实施例中，对上述粗提取得到的二值图像进行形态学操作，选择最大面积区域为 提取的堆料区域进行后续处理。

步骤203，根据上述处理得到的堆料区域，并依据观察到的堆料外貌形态进行相应 的三维立体建模，用于模拟堆料形态。根据提取的堆料区域掩膜设置模型参数，并生成相应 的立体模型，后续进行模型的调整并与堆料区域掩膜融合，从而得到堆料的立体估计模型。 如图4所示为三维立体建模的具体实施方法。

步骤401，模型参数设置。根据图像中堆料外貌形态选取相应的立体模型，在此确 定模型的参数。本实施例中，以圆锥形堆垛为例，生成二维高斯模型以模拟堆料形态。并依 据上述得到的堆料区域来设置二维高斯模型的参数。

步骤402，模型初步生成。依据上述选定的模型类别与设置的模型参数来生成相应 的立体估计模型。本实施例中，以圆锥形堆垛为例，生成二维高斯模型以模拟堆料形态。其 计算公式如下：

其中，表示二维高斯模型的标准差，该参数依据上述得到的堆料区域设置。本实施 例中参数的设置与堆料的半径有关，模型中心点设置与堆料区域质心有关。

步骤403，模型调整。将生成的立体模型调整为特定的度量空间，以便后续在同一 度量空间内计算体积的变化率。本实施例中，以圆锥形堆垛为例，将初步生成的二维高斯模 型归一化处理，以使后续体积的对比在同一度量空间进行。并将归一化后的二维高斯模型 向下平移，令其最小值为零，从而充分模拟堆料的边界状态。

步骤404，立体裁剪。将得到的立体模型与堆料区域融合，去除立体模型中对应于 非堆料区域的部分，便于对堆料体积的估算。本实施例中，以圆锥形堆垛为例，将上述得到 的二维高斯模型与步骤202中提取的堆料区域进行融合，得到堆料区域对应的堆垛状立体 模型。

步骤204，堆料体积估算。依据上述得到的堆料立体模型，估计出堆料区域相应的 模拟高度，将各个模拟高度值进行累加，得到估算的堆料体积。

步骤104中，达到设定的时间后，再一次根据当前的堆料状态估算堆料的体积。可 设定一定的时间间隔，在达到相应的时间间隔时根据图像中堆料状态重新进行堆料区域的 提取，并依据堆料区域掩膜重新调整选定的立体模型参数，然后重新建立立体模型，并将得 到的立体模型与堆料形态进行融合，得到当前状态的堆料立体模型，然后再次进行体积的 估算。

步骤105中，根据设定的堆料基准状态，利用获取的基准状态立体模型的体积值与 达到设定的时间后再次计算得到的立体模型体积，得到相应的堆料体积变化率。

本发明所列出的一系列的详细说明，仅仅是对本发明的可行性实施方式的具体说 明，并非用以限制本发明的保护范围，在不背离本发明精神或基本特征的情况下，以其他的 具体形式、等效方式、变更方式实现本发明，均应包含在本发明的保护范围之内。

本发明按照实施例的方式描述，但并不是每个实施方式仅包含一个独立的技术方 案，还应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域 技术人员可以理解的其他实施方式。

此外，本发明实施例是用流程图和/或方框图来描述的，计算机程序指令实现流程 图和/或方框图，除了可提供方法或计算机程序产品外，还可提供计算机程序指令到计算机 嵌入式处理机或者其他可编程数据处理设备中，使其产生流程图和/或方框图中的功能。