面向多摄像头监控系统中单个摄像头损坏的自动检测方法

摘要

本发明涉及一种面向多摄像头监控系统中单个摄像头损坏的自动检测方法，具体步骤如下：(1)采集，制作训练测试样本集；(2)构造神经网络；(3)训练神经网络参数，观察网络误差，直到网络收敛；(4)用训练好的网络部署应用，并实时监测。本发明采用的方法基于卷积神经网络，卷积神经网络是近年发展起来的，引起广泛重视的一种高效识别方法。原始视频图像经过卷积层，池化层，激活层等一系列特征处理，最后输出图像的类别。本发明方法能够完全替代人工操作，具有检测自动、实时、高效、精度精准，不需要额外硬件，成本低等特点。

说明书

技术领域

本发明涉及一种面向多摄像头监控系统中单个摄像头损坏的自动检测方法，属于视频监控领域。

背景技术

视频监控系统是对各行业重点部门或重要场所进行实时监控的物理基础，管理部门可通过它获得有效数据图像信息，对突发性异常事件的过程进行及时的监视和记忆，用以提供高效、及时地指挥和快速布置警力、处理案件等。多摄像头组成的视频监控系统，实现了监控与通讯的双重功能，全面满足交通、水利、油田、银行、电信等各个领域的监控与应急指挥需求。要达到上述需求就必须要求监控系统组成部分中每个摄像头都必须正常工作。由于监控系统一般是全天候，全时段，二十四小时不间断地进行监控，所以就必须要求系统在某个摄像头有损坏发生时能自动、实时通知系统维护员进行维修更换。

在现有的视频监控系统中，摄像头的维护和监控主要依靠人工，不能实现实时监控，且不能及时准确的确定哪个摄像头损坏，需要逐步排查，费时费力，效率低下。

发明内容

针对现有技术存在的缺陷，本发明的目的是提供一种面向多摄像头监控系统中单个摄像头损坏的自动检测方法，具有检测自动、实时、高效、精度精准，不需要额外硬件，成本低等特点。

本发明解决其技术问题所采用的技术方案是：

一种面向多摄像头监控系统中单个摄像头损坏的自动检测方法，具体步骤如下：

(1)采集，制作训练测试样本集；

(1a)采集原始图像：同时采集m个监控摄像机中的图像各n张，其中m，n为正整数，缩放到300×300大小，分别对应的放在m个文件夹中，其中每个文件夹中n张图片按照采集时间先后顺序，从1到n编号；

(1b)制作损坏图像：从编号1开始到编号n，每次以50％的概率选择是否要损坏该编号图片；如果选择是，则从m个文件中随机选择一个文件夹，每个文件夹被选中的概率是1/m；把选中的文件夹中的该编号图片上增加随机形状，随机颜色的纯色图像块，该图像块面积占该图片面积的30％以上，代表该摄像机损坏；每张图像都生成同名文本文件，文件内容为该图片label，如果该图片损坏label为1，没有损坏label为0；

(1c)训练阶段，按照m个文件夹顺序输入m张图像，在连接层，把m张300×300×3在通道上合并成300×300×(3×m)大小，并把label设置为文件夹中该编号图像label为1的文件夹标签。如：如果某编号m张图像，文件夹1的图像label为1，其余m-1个文件夹中该编号图像的label都为0，则合并后的数据label设置为1，代表第一类样本；如果m个文件夹中该编号图像label都是0，则合并后label为0，代表零类样本。

(2)构造神经网络；

网络的输入是按固定顺序输入的m个摄像机的实时图像帧，其中每张图像被缩放到300×300×3大小，即300个像素宽，300个像素高，每张彩色图3个通道；接下来的连接层将m个相机图像在通道上合并成300×300×(3×m)大小；最后在全连接层输出m+1个值，分别表示m+1类概率的大小，如果第零类的概率最大，则表示m个相机都正常工作；如果第一类的概率最大，表示相机1工作不正常；如果第二类的概率最大，表示相机2工作不正常；如果第三类的概率最大，表示相机3工作不正常；如果第m类的概率最大，表示相机m工作不正常。

(3)训练神经网络参数，观察网络误差，直到网络收敛；

(3a)将样本输入网络并在连接层合并图像，生成样本标签后，再经过神经网络操作，在全连接层，按照如下公式，输出m+1个值，代表m+1类的概率；

Zⁱ＝Wⁱ*X+b

其中，X是全连接输出层上一层的网络输出矩阵，Wⁱ是全连接层第i个输出单元的权值矩阵，b是全连接层的前置项，Zⁱ指第i个输出单元的输出值，i从0～m一共m+1个值；分别代表m+1类的类别概率；

(3b)将全连接层的各类概率输出值输入到SoftmaxWithLoss层，依据如下公式计算网络的损失值，并反向传播训练网络的参数，

其中，k表示类别，y表示该样本label，Zⁱ指第i个样本的概率值。

(4)用训练好的网络部署应用，并实时监测；

部署以上训练好的网络，网络的输入是按固定顺序输入的m个摄像机的实时图像帧，其中每张图像被缩放到300×300×3大小，即300个像素宽，300个像素高，每张彩色图3个通道；接下来的连接层将m个相机图像在通道上合并成300×300×(3×m)大小；再进行卷积层，池化层，激活层的操作；最后在全连接层输出m+1个值，分别表示m+1类概率的大小，如果第零类的概率最大，则表示m个相机都正常工作；如果第一类的概率最大，表示相机1工作不正常；如果第二类的概率最大，表示相机2工作不正常；如果第三类的概率最大，表示相机3工作不正常；如果第m类的概率最大，表示相机m工作不正常；以此，实现多摄像头监控系统中单个摄像头损坏的自动检测。

与现有技术相比，本发明具有以下优点：

本发明采用的方法基于卷积神经网络，卷积神经网络是近年发展起来的，引起广泛重视的一种高效识别方法。原始视频图像经过卷积层，池化层，激活层等一系列特征处理，最后输出图像的类别。本发明方法能够完全替代人工操作，具有检测自动、实时、高效、精度精准，不需要额外硬件，成本低等特点。

附图说明

图1为本发明方法实施例的工作流程图。

图2本发明方法训练样本及其类别标签的示意图。

图3为本发明方法运行实施阶段的神经网络结构图。

具体实施方式

下面结合附图，对本发明的具体实施例做进一步的说明。

参照图1，以m＝4，n＝20000对本发明实施例做进一步的详细描述：

一种面向多摄像头监控系统中单个摄像头损坏的自动检测方法，具体步骤如下：

步骤1，采集，制作训练测试样本集：

第1步，采集原始图像：同时采集四个监控摄像机中的图像各20000张，缩放到300×300大小，分别对应的放在四个文件夹中，其中各文件夹中20000张图片按照采集时间先后顺序，从00001到20000编号。

第2步，制作损坏图像：从编号00001开始到编号20000，每次以50％的概率选择是否要损坏该编号图片；如果选择是，则从四个文件中随机选择一个文件夹，每个文件夹被选中的概率是25％；把选中的文件夹中的该编号图片上增加随机形状，随机颜色的纯色图像块，该图像块面积占该图片面积的30％以上。代表该摄像机损坏。每张图像都生成同名文本文件,文件内容为该图片label，如果该图片损坏label为1，没有损坏label为0。

第3步，训练阶段，按照四个文件夹顺序输入四张图像，在连接层，把四张300×300×3在通道上合并成300×300×12大小，并把label设置为文件夹中该编号图像label为1的文件夹标签。如：如果某编号四张图像，文件夹1的图像label为1，其余三个文件夹中该编号图像的label都为0，则合并后的数据label设置为1，代表第一类样本；如果四个文件夹中该编号图像label都是0，则合并后label为0，代表零类样本；图2总结了本方法类别及标签示意：类别0表示四个摄像头都正常工作；类别1表示四个摄像头中第一个摄像头损坏；类别2表示四个摄像头中第二个摄像头损坏；类别3表示四个摄像头中第三个摄像头损坏；类别4表示四个摄像头中第四个摄像头损坏。

步骤2，构造本方法所用神经网络：

图3是本方法网络结构示意图，其特点在于：网络的输入是按固定顺序输入的四个摄像机的实时图像帧，其中每张图像被缩放到300×300×3大小，即300个像素宽，300个像素高，每张彩色图3个通道；接下来的连接层将四个相机图像在通道上合并成300×300×12大小；最后在全连接层输出5个值，分别表示五类概率的大小，如果第零类的概率最大，则表示四个相机都正常工作；如果第一类的概率最大，表示相机1工作不正常；如果第二类的概率最大，表示相机2工作不正常；如果第三类的概率最大，表示相机3工作不正常；如果第四类的概率最大，表示相机4工作不正常。

步骤3，用样本训练网络：

第1步，将样本输入网络并在连接层合并图像，生成样本标签后，再经过神经网络操作，在全连接层，按照如下公式，输出5个值，代表五类的概率；

Zⁱ＝Wⁱ*X+b

其中，X是全连接输出层上一层的网络输出矩阵，Wⁱ是全连接层第i个输出单元的权值矩阵，b是全连接层的前置项，Zⁱ指第i个输出单元的输出值。i从0～4一共5个值。分别代表五类的类别概率。

第2步，将全连接层的各类概率输出值输入到SoftmaxWithLoss层，依据如下公式计算网络的损失值，并反向传播训练网络的参数，练过程中网络误差一直下降，测试精度不断提高，当网络收敛时，训练完成，得到一组检测精度高的网络参数。

其中，k表示类别，y表示该样本label，Zⁱ指第i个样本的概率值。

步骤4，用训练好的网络部署应用：

部署以上训练好的网络，网络的输入是按固定顺序输入的四个摄像机的实时图像帧，其中每张图像被缩放到300×300×3大小，即300个像素宽，300个像素高，每张彩色图3个通道；接下来的连接层将四个相机图像在通道上合并成300×300×12大小；再进行卷积层，池化层，激活层等操作；最后在全连接层输出5个值，分别表示五类概率的大小，如果第零类的概率最大，则表示四个相机都正常工作；如果第一类的概率最大，表示相机1工作不正常；如果第二类的概率最大，表示相机2工作不正常；如果第三类的概率最大，表示相机3工作不正常；如果第四类的概率最大，表示相机4工作不正常。以此，实现多摄像头监控系统中单个摄像头损坏的自动检测。