一种煤矿AI智能视频识别系统及使用方法

摘要

本发明提供了一种煤矿AI智能视频识别系统，包括机壳及其一端的镜头，所述机壳的一端还设有红外灯，所述机壳的内部还设有图像传感器、图像处理器、及转换器，所述机壳的另一端还设有以太网电接口及双绞线接口，所述镜头与所述图像传感器电性连接，所述图像传感器与所述图像处理器电性连接，所述红外灯与所述图像处理器电性连接，所述图像处理器与所述转换器电性连接，所述转换器分别与所述以太网电接口、双绞线接口连接。

说明书

技术领域

本发明涉及AI智能技术领域，具体涉及一种煤矿AI智能视频识别系统及使用方法。

背景技术

视频集成控制是将已有的工业电视摄像头和皮带监控摄像头统一管理起来。其中包括工业电视摄像机和皮带监控摄像机。将原有符合要求的工业电视摄像机统一接入到环网交换机中，通过工业以太网传输到视频识别分析主机中，也可以进行识别分析和警报。但由于原有摄像机的分辨率比较低，影响视频分析结果，需在指定位置配备安装高清摄像仪。矿井传统的视频集成控制多为只实现单一的视频监控应用，且多为低分辨率的摄像机视频集成，集成建构相对简单。考虑到视频集成、视频分析和视频联动控制时会有一定延时和图像内容要求，需要结合皮带运行速度指定摄像仪安装位置。

在煤矿皮带的监控中，需要根据对皮带运输系统异常情况的分析，主要检测皮带上大体积煤块（或矸石）、水煤和皮带上掉落锚杆等异常情况。大块等造成的堵仓情况多发生在皮带落煤点位置，掉落的锚杆多掩埋在碎煤中，锚杆在落煤点掉落时容易发生撕裂皮带事故，所以摄像机安装在皮带特定位置，用来监测皮带上的大块、水煤和锚杆，防止造成堵仓和皮带撕裂。

因此，需要一种更为方便快捷且准确的检测装置及其方法。

发明内容

本发明的主要目的在于提供一种煤矿AI智能视频识别系统及使用方法，先对摄像机输出的视频帧划定检测区域，然后对划定的检测区域进行预处理，包括图像灰度化和滤波，以去除图像中的噪点、无关线条的干扰。最后，对处理后的图像采用AI智能识别算法进行大煤块堆煤检测和锚杆检测，并输出检测结果；

为解决上述技术问题，本发明提出以下技术方案：

本发明的技术方案之一是通过以下措施来实现的：

一种煤矿AI智能视频识别系统，包括机壳及其一端的镜头，所述机壳的一端还设有红外灯，所述机壳的内部还设有图像传感器、图像处理器、及转换器，所述机壳的另一端还设有以太网电接口及双绞线接口，所述镜头与所述图像传感器电性连接，所述图像传感器与所述图像处理器电性连接，所述红外灯与所述图像处理器电性连接，所述图像处理器与所述转换器电性连接，所述转换器分别与所述以太网电接口、双绞线接口连接。

对本发明进一步的描述，所述转换器为RJ转换RJ转换器。

对本发明进一步的描述，所述机壳通过喇叭口与所述电缆连接。

对本发明进一步的描述，本装置通过以太网与外部PC端通信连接。

本发明的技术方案之二是通过以下措施来实现的：

一种煤矿AI智能视频识别使用方法，包括下列使用步骤：

1）提取视频帧；

2）划定检测区；

3）图像预处理：主要分为图像灰度化和滤波，检测区域的图像为三通道RGB彩色图像，首先要对其进行灰度化，将其从彩色图转换成灰度图，得到灰度图后，要对其进行滤波处理以去除图像中的噪点、小煤块和无关线条的干扰；

4）大石块堆煤检测及锚杆检测：大石块堆煤检测是计算图像中煤颗粒像素数和划定区域总像素数的比值得到相对面积，当大于阈值 时，判断当前图像中存在大煤块，当大于阈值 时，判断可能造成堆煤情况发生；锚杆检测是对划定区域用Canny边缘检测提取轮廓，然后采用概率霍夫变换检测轮廓中存在的直线，并计算直线的长度

5）输出结果。

与现有技术相比，本发明的优点在于：

能够有效抓拍到高速运转皮带上的大块矸石、锚杆、水煤等各类异物清晰图像。核心目标识别算法采用人工智能领域中卷积神经网络与全连接层构建技术、通过采用一体化卷积网络检测算法，直接将整张图像作为网络的输入，并仅通过一次前向传播直接得到目标包围框的位置和目标的类别，采用了RPN中的多参考窗口技术，并进一步提出在多个分辨率的特征图上进行检测。提高了准确率，同时保持了极快的检测速度。采用高级的跟踪算法，通过预训练的神经网络模型提取目标物理特性、通过该模型计算每个目标的外观特征值，然后计算前后两帧中目标计算特征值之间的“余弦距离”来比较两个目标的相似度。这种方式可以有效地解决目标被遮挡、目标过于密集等问题，能够持续有效跟踪目标物体。

附图说明

图1为本发明的摄像结构示意图；

图2为本发明的电气原理框图；

图3为本发明的方法流程示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1，如图1-3所示：

监控终端以通过镜头采集景物图像信息到图像传感器上，经过图像处理电路（编码转换）和本安光电转换电路的处理及控制红外灯的开关，实现输出符合煤矿安全要求的以太网电信号（图2）；电缆通过喇叭口引入本产品机壳内，将DC12V本安电源对应接在机壳内的接线端子上，最后接通电源，将本产品连接到以太网上，通过电脑浏览图像。

在使用时，首先通过外部PC电脑中提取视频帧；

然后根据需求进行区域划分；

然后对划分的区域进行图像预处理，其主要分为图像灰度化和滤波。检测区域的图像为三通道RGB彩色图像，首先要对其进行灰度化，将其从彩色图转换成灰度图。对于任一像素点，其转换公式为：

得到灰度图后，要对其进行滤波处理以去除图像中的噪点、小煤块和无关线条的干扰。本系统采用均匀滤波，其原理是在图像上给目标像素一个模板，该模板由其近邻的若干像素组成，求模板中所有像素的均值，再把该均值赋予当前像素点，作为处理后图像在该点上的灰度，即

为该模板中包含当前像素在内的像素总个数，表示模板区域，表示点 处的灰度值。由于井下环境复杂多变，为了有效过滤干扰信息（尤其是线条干扰信息）建议选择稍大的模板：如 等。

然后进行大石块堆煤检测，皮带机运煤过程中，大块、水煤的反射率高于末煤，在图像中大块总处于灰度值最亮的位置。因此大煤块的分布可以通过对划定区域进行运动目标检测，并对所得到的灰度图进行阈值分割来获取。其结果是一个二值图像，计算图像中煤颗粒像素数和划定区域总像素数的比值得到相对面积，当大于阈值 时，判断当前图像中存在大煤块，当大于阈值 时，判断可能造成堆煤情况发生；

具体步骤如下：

①分别用帧差法和背景差分法计算当前帧的煤颗粒像素数。

帧差法：将视频流中相邻两帧或相隔几帧图像的两幅图像像素值相减，并对相减后的图像进行阈值化来提取图像中的运动区域。相减两帧图像的帧数分别为第帧, 第帧，其帧图像分别为，差分图像二值化阈值为，差分图像用表示，则帧间差分法的公式如下：

遍历所有像素，计算帧差法中煤颗粒像素数

背景差分法：将当前获取的图像帧与背景图像做差分运算，得到目标运动区域的灰度图，对灰度图进行阈值化提取运动区域。通常取前几帧图像的平均值，将其作为初始的背景图像。设 分别是当前帧和背景帧，差分图像二值化阈值为，差分图像用表示，则背景差分法的公式如下：

遍历所有像素，计算背景差分法中煤颗粒像素数

②求相对面积并判断：由①可求得帧差法煤颗粒像素数和背景差分法煤颗粒像素数，下面进行加权求相对面积。设置面积系数，则相对面积计算方法为：

掉落时煤块速度较快，帧差法出现空洞的概率较小，而背景差分法背景帧选择的好坏具有不确定性，当背景中无末煤或者恰好存在大煤块时，背景帧亮度较高，检测误差较大，因此面积系数在实际应用中可以偏大，以此增加帧差法在面积计算中的权重。而当煤块过大时，相邻两帧图像中的煤块有部分重叠，帧差法可能出现空洞，此时，背景差分法往往能正确检测出运动目标，通过加权有效分担了计算的误差。最后，将求得的相对面积与阈值相比较，输出判断结果：

同时进行锚杆检测，对划定区域用Canny边缘检测提取轮廓，然后采用概率霍夫变换检测轮廓中存在的直线，并计算直线的长度和相对长度 ，当相对长度大于设定的阈值时，判断当前图像中存在锚杆。具体步骤如下：

①用Canny边缘检测提取轮廓，主要步骤为:

a、为了平滑一些纹理较弱的非边缘区域，获得更准确的边缘信息，首先利用高斯核对图像进行滤波处理，高斯卷积核大小的选择将影响Canny检测器的性能。尺寸越大，检测器对噪声的敏感度越低，但是边缘检测的定位误差也将略有增加。高斯核函数为：

b、计算每个点的梯度方向和强度：

其中 为梯度强度， 为梯度方向，为反正切函数。

c、非极大值抑制。非极大值抑制是一种边缘稀疏技术，非极大值抑制的作用在于“瘦”边。对图像进行梯度计算后，仅仅基于梯度值提取的边缘仍然很模糊。对于标准3，对边缘有且应当只有一个准确的响应。而非极大值抑制则可以帮助将局部最大值之外的所有梯度值抑制为0，对梯度图像中每个像素进行非极大值抑制的算法是：

1)将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较。

2)如果当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制。

通常为了更加精确的计算，在跨越梯度方向的两个相邻像素之间使用线性插值来得到要比较的像素梯度，现举例如下：

将梯度分为8个方向，分别为E、NE、N、NW、W、SW、S、SE，其中0代表 ,1代表，2代表，3代表。像素点P的梯度方向为 ，则像素点P1和P2的梯度线性插值为：

d、双阈值检测。在施加非极大值抑制之后，剩余的像素可以更准确地表示图像中的实际边缘。然而，仍然存在由于噪声和颜色变化引起的一些边缘像素。为了解决这些杂散响应，必须用弱梯度值过滤边缘像素，并保留具有高梯度值的边缘像素，可以通过选择高低阈值来实现。如果边缘像素的梯度值高于高阈值，则将其标记为强边缘像素；如果边缘像素的梯度值小于高阈值并且大于低阈值，则将其标记为弱边缘像素；如果边缘像素的梯度值小于低阈值，则会被抑制。阈值的选择取决于给定输入图像的内容。

e、抑制孤立低阈值点。到目前为止，被划分为强边缘的像素点已经被确定为边缘，因为它们是从图像中的真实边缘中提取出来的。然而，对于弱边缘像素，将会有一些争论，因为这些像素可以从真实边缘提取也可以是因噪声或颜色变化引起的。为了获得准确的结果，应该抑制由后者引起的弱边缘。通常，由真实边缘引起的弱边缘像素将连接到强边缘像素，而噪声响应未连接。为了跟踪边缘连接，通过查看弱边缘像素及其8个邻域像素，只要其中一个为强边缘像素，则该弱边缘点就可以保留为真实的边缘。

②概率霍夫变换检测直线并计算相对长度。Canny检测结果是一幅存储边缘信息的二值图像，用概率霍夫变换检测该图像中的直线。概率霍夫变换的主要步骤为：

a、随机抽取图像中的一个边缘点，如果该点已经被标定为是某一条直线上的点，则继续在剩下的边缘点中随机抽取一个边缘点，直到所有边缘点都抽取完了为止；

b、对该点进行霍夫变换，并进行累加和计算；

c、选取在霍夫空间内值最大的点，如果该点大于阈值，则进行步骤d，否则回到步骤a；

d、根据霍夫变换得到的最大值，从该点出发，沿着直线的方向位移，从而找到直线的两个端点；

e、计算直线的长度，如果大于某个阈值，则被认为是直线输出，回到步骤a。

经过霍夫概率变换后，得到一个记录直线的点集，，其中表示检测到符合要求的直线的数目。对每一条直线求长度：

将求得的长度与某个阈值相比较，长度大于所设阈值则判断当前图像中存在锚杆。但该方法阈值选择没有参考，难以给出合适的值。因此，本系统将计算得到的直线长度与检测区域的对角线长度的比值作为相对长度，即：

通常情况下，根据检测区域选择大小不同，可设置为0.4~0.7之间。最后，将求得的相对长度与阈值相比较，输出判断结果：

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第 一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地 连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明发中的具体含义。