基于时空背景比对的黑烟车检测判定及系统

摘要

本发明属于违章车辆监测与分析统计技术领域，公开了一种基于时空背景比对的黑烟车检测判定及系统，从外部连接的工业摄像机获取携带交通路况图像的视频流；从获取的视频流中提取关键帧；用深度学习算法对关键帧进行普通车辆检测与黑烟车辆检测，分别保存检测截图与包含黑烟车的5秒视频；对黑烟车辆进行车牌识别、林格曼黑烟系数判定、违章道路数判定；完成检测结果的保存与分析，对带有检测结果的黑烟车视频、截图、信息等数据等结果进行输出保存，用以后期的分析检查。本发明有效的解决了黑烟车辆难以检测的问题，同时对于实时检测速度慢的问题提出了关键帧提取的方法进行加速，准确率和实时性有明显的提升。

说明书

技术领域

本发明属于违章车辆监测与分析统计技术领域，尤其涉及基于时空背景比对的黑烟车检测判定及系统。

背景技术

近年来，随着国家经济的不断发展，居民的生活水平不断提高，汽车已经成为了人类生活生产中必不可少的交通工具。然而伴随着汽车的普及，汽车尾气污染也越来越严重。根据环保部门2017年发布的《中国机动车环境管理年报》显示，2016年全国机动车保有量达到2.95亿辆，比2015年增长8.1％，汽车已占主导地位。2016年，全国机动车排放污染物初步核算为4472.5万吨，比2015年削减1.3％。其中，一氧化碳(CO)3419.3万吨，碳氢化合物(HC)排放量为422.0万吨，氮氧化物(NOx)577.8万吨，颗粒物(PM)53.4万吨。汽车是污染物排放总量的最主要贡献者，其排放的CO和HC超过80％，NOx 和PM超过90％。这些事实都表明对排放污染气体的机动车的监控和治理迫在眉睫。然而，目前我国大部分城市采用的黑烟车监管模式主要还是依靠人工监管。据调查，采用人工监管的方式需要雇佣大量的人工，每一路视频都至少需要专门配备1人查看，但人眼会随着长时间的使用造成视觉疲劳，有时就会对黑烟车熟视无睹，这会造成大量的漏检和误检。

另一方面，计算机科学在图像识别，物体检测等方面有了很大的发展。从上世纪九十年代开始，科学家们在研究图像中的物体时不再仅局限于物体的三维形状，而开始考虑物体在图像中本身的特征，通过对图像进行抽象描述，得到图像的特征向量，再到样本集进行比对判断。到了2000年之后，识别领域得到了更好的发展，人们设计出了SIFT，HOG，LBP等各种图像特征，这些特征比图像边缘和角点等具有更好的鲁棒性。与此同时，机器学习方法的发展也出现了各种强大的分类器，通过运用这些技术，物体检测和图像识别的准确率变得越来越高，检测效率也越来越快。因此，越来越多的环保者把目光投向了智能监控上。智能监控的优点十分明显，首先可以降低人力的投入，减少大量的人力财力的消耗；其次，智能监控不会产生“疲劳”，只要不断电，计算机能一直保持高效率的工作。此外，建立智能监控系统，可以实现黑烟车从发现到向有关部门提交相关证据的完全自动化，降低了人工监管中可能出现的信息输入错误的可能。

通过上述分析，现有技术存在的问题及缺陷为：现有的黑烟车检测领域中存在的精确性不高、实时性不强、功能性不丰富。

解决以上问题及缺陷的难度为：由于黑烟具有形状不定、运动不均、颜色不唯一的特性，所以很多传统方法对于黑烟车判定并不理想。现有的方法有颜色直方图对比、基于连通域的检测、形状编码法等，虽然很多改进方法提高了黑烟车的检测效果，但是大多现有方法仍然针对单帧图像进行检测判定，能够实际应用的高准确率的算法仍然缺少。

现有的黑烟车检测算法，功能十分有限，很多算法仅能够判断当前视频中是否有黑烟车，而不能指明黑烟车的位置。现有的监管人员需求不仅是黑烟车的识别，更需要黑烟车的位置、黑烟车的车牌号、车道位置、黑烟程度判定等。这些额外的需要要求算法能够同时处理多个任务，但这无疑增加了更多的计算量，功能数量的需求与运算速度要求成为了两难的选择。

相应的，功能的增多带来了庞大的计算量，一个算法可以实时的完成黑烟检测，但是车牌识别会严重拖慢整个程序的运行速度。如果还需要黑烟等级判定、车道判定等辅助功能，程序将运行极其缓慢，会因为内存问题停止工作。

解决以上问题及缺陷的意义为：黑烟车的漏检会严重影响城市交通，并且污染城市空气。本专利克服了传统黑烟车检测的不足，利用“时空背景对比”方法，显著提高黑烟车检测的准确率，降低了黑烟车漏检的可能，这有利于交通监管人员可以实时准确的锁定违章车辆。黑烟车检测的多功能性可以提供更多的违章车辆信息，免去了人工判定的麻烦，极大提高了监管效率，真正成为监管人员的得力帮手。实时性一直是黑烟车检测算法的重要指标，多功能黑烟车检测系统由于存在巨大的计算量，实时性是一个挑战，本专利采取多线程处理的方式，并行处理需要大量计算的环节，缓解了内存压力，实现了具有实时性的多功能黑烟车检测系统。这将有效提升违章车的监管效率，为黑烟车监测领域提供了一种有效的解决方案。

发明内容

针对现有技术存在的问题，本发明提供了基于时空背景比对的黑烟车检测判定及系统。

本发明是这样实现的，一种基于时空背景比对的黑烟车检测判定方法，所述基于时空背景比对的黑烟车检测判定方法视频流的读取是通过提前架设的工业级摄像头将外部采集的道路视频流以局域网的形式传输给同一地址段的本地计算机进行实时处理；提取关键帧采取等间距采样的方法；视频流检测，采取深度学习算法YOLOv3进行黑烟车辆检测，并输出带有检测结果的视频、目标截图、车牌号、林格曼黑烟系数、所在车道；对于检测结果进行输出保存，用于复查分析。

进一步，所述基于时空背景比对的黑烟车检测判定方法包括以下步骤：

第一步，视频流实时读取，从外部架设的工业级摄像头将外部采集的道路视频流以局域网的形式传输给同一地址段的本地计算机，完成视频流的实时获取。

第二步，从获取的视频流中提取关键帧，用以输入到深度学习检测算法，进行视频流的黑烟车检测；

第三步，用深度学习算法对关键帧进行黑烟车检测，用以得到带有检测结果的黑烟车视频、目标截图、车牌号、林格曼黑烟系数、所在车道；

第四步，检测结果的保存与分析，对带有黑烟车的视频、目标截图、车牌号、林格曼黑烟系数、所在车道结果以时间戳命名，进行输出保存，用于以后期的分析检查。

进一步，所述第三步用深度学习算法对关键帧进行黑烟车检测，用以得到带有检测结果的黑烟车视频、目标截图、车牌号、林格曼黑烟系数、所在车道包括：

(1)输入关键帧图片，保持长宽比不变的情况下，将图像调整为大小是 416*416的3通道的RGB图像；

(2)运行网络。YOLOv3的卷积层将输入图像分成S*S网格，预测得到边界框大小、位置、目标的置信度，通过非极大值抑制，生成最终的车辆检测数据框，并返回；

(3)获取黑烟可能存在区域，依据得到的车辆检测框，计算车辆前后可能出现黑烟的区域；具体地，黑烟框的长度与对应车辆保持一致，宽度是对应车辆宽度的3/4；

(4)黑烟区域与背景区域进行对比，分别计算黑烟区域与背景区域的像素值均值与方差；若黑烟区域像素均值相较背景减少10％以上，公式

(5)车牌检测，若车辆的前后区域被判为林格曼系数大于0的区域，则认为当前车为黑烟车，若为黑烟车，则将车辆区域输入车牌检测算法；

(6)车道检测，若车辆被判定为黑烟车，则根据车辆所处坐标进行车道检测，读取当前视频流下的图像，人工划取车道线位置，并计算车道线二元一次函数斜率与截距，依据检测框位置(top，left，right，bottom)计算黑烟车中心坐标(x，y)，见公式

进一步，将车辆区域输入车牌检测算法具体包括：首先利用u-net图像分割算法得到二值化图像；再使用Opencv进行边缘检测获得车牌区域坐标，并将车牌图形矫正；最后利用卷积神经网络进行车牌多标签端到端识别。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：视频流的读取是通过提前架设的工业级摄像头将外部采集的道路视频流以局域网的形式传输给同一地址段的本地计算机进行实时处理；提取关键帧采取等间距采样的方法；视频流检测，采取深度学习算法YOLOv3进行黑烟车辆检测，并输出带有检测结果的视频、目标截图、车牌号、林格曼黑烟系数、所在车道；对于保存的检测结果进行输出保存，用于复查分析。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：视频流的读取是通过提前架设的工业级摄像头将外部采集的道路视频流以局域网的形式传输给同一地址段的本地计算机进行实时处理；提取关键帧采取等间距采样的方法；视频流检测，采取深度学习算法YOLOv3进行黑烟车辆检测，并输出带有检测结果的视频、目标截图、车牌号、林格曼黑烟系数、所在车道；对于保存的检测结果进行输出保存，用于复查分析。

本发明的另一目的在于提供一种实施所述基于时空背景比对的黑烟车检测判定方法的基于时空背景比对的黑烟车检测判定系统，所述基于时空背景比对的黑烟车检测判定系统包括：

视频流获取模块，用于实现外部连接的工业摄像机获取携带交通路况图像的视频流；

关键帧提取模块，用于从获取的视频流中提取关键帧；

车辆检测模块，用于采用深度学习算法对关键帧进行普通车辆检测与黑烟车辆检测，分别保存检测截图与包含黑烟车的5秒视频；

车辆信息识别模块，用于对黑烟车辆进行车牌识别、林格曼黑烟系数判定、违章道路数判定；

经检测结果分析模块，用于完成检测结果的保存与分析，对带有检测结果的黑烟车视频、截图、信息数据结果进行输出保存。

本发明的另一目的在于提供一种智慧交通控制系统，所述智慧交通控制系统搭载所述的基于时空背景比对的黑烟车检测判定系统。

本发明的另一目的在于提供一种智慧交通的智能分析系统，所述智慧交通的智能分析系统搭载所述的基于时空背景比对的黑烟车检测判定系统。

本发明的另一目的在于提供一种智慧交通的快速侦查系统，所智慧交通的快速侦查系统搭载所述的基于时空背景比对的黑烟车检测判定系统。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明在黑烟车检测方面的优势在于多功能系统，目前黑烟车检测系统大多只能完成黑烟车的识别，但是实际交通管理中，管理人员还需要对黑烟车进行车牌识别，车道判定，黑烟程度判定，违章路段判定等，这些造成目前的黑烟车检测系统难以完全满足监管者的需求。本发明在传统黑烟车检测的基础上，外加了更多的实用性功能，如车牌检测、车道判定、林格曼系数判定等，该改进可以更加全面的满足交通监管者的需求，有助于提升交通监管效率。

本发明在视频流的甄选方面优势在于关键帧提取，原始视频的帧速率可能达到25帧/秒的速度，但是目标的运动往往是连续的，缓慢的。相邻帧之间的相似度非常的高，如果每一帧都进行检测保存，那么将会出现大量的重复检测，这导致检测的实时性大打折扣，为此甄选出关键帧是目标检测前的预处理操作。本发明采用“等间距采样法”，假设视频流的帧速率为k帧/秒，则每隔k帧采样一帧，减少重复的计算，满足实时性需求。由于车辆在摄像头下的运行速度受限，所以这种方法简单且高效，能够实现抓拍到黑烟车的功能，不会造成漏检情况。

本发明在黑烟车检测方面的优势在于对复杂环境的鲁棒性。普通的黑烟车检测算法在复杂场景下(如雨天、湿地、阴影路面、坑洼路面)检测性能会大幅度下降，原因是这些算法只考虑了当前帧的黑烟车特征，这类方法易于受到源自路面的信息干扰。在本发明中，提出了“基于时空背景的对比方法”，以视频历史帧中无车辆、无黑烟区域作为背景模板，将当前待检测区域与背景模板相比较，若像素均值之比超过阈值，则判定为黑烟区域，否则为正常区域。这种方法极大的增加了黑烟车检测算法的鲁棒性，经实验表明，在大多数路况下，本发明的算法的黑烟车检测的准确率要远高于现有算法，误检率也要低于现有算法，有效降低了交通监管人员后期排查黑烟车的工作难度。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于时空背景比对的黑烟车检测判定方法的流程图。

图2是本发明实施例提供的基于时空背景比对的黑烟车检测判定系统的结构示意图；

图2中：1、视频流获取模块；2、关键帧提取模块；3、车辆检测模块；4、车辆信息识别模块；5、经检测结果分析模块。

图3是本发明实施例提供的基于时空背景比对的黑烟车检测判定方法实现流程图。

图4是本发明实施例提供的所使用深度学习算法YOLOv3得到的视频流的检测结果示意图。

图5是本发明实施例提供的每个黑烟车对应的车辆信息文件夹，并以时间戳方式命名示意图。

图6是本发明实施例提供的文件夹中的具体内容，包含黑烟车截图、黑烟车5秒视频、黑烟车辆信息实验。

图7是本发明实施例提供的黑烟车辆信息，由黑烟车车牌号、林格曼黑度系数、车道数组成示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了基于时空背景比对的黑烟车检测判定及系统，下面结合附图对本发明作详细的描述。

如图1所示，本发明提供的基于时空背景比对的黑烟车检测判定方法包括以下步骤：

S101：视频流实时读取，从外部架设的工业级摄像头将外部采集的道路视频流以局域网的形式传输给同一地址段的本地计算机，完成视频流的实时获取。

S102：从获取的视频流中提取关键帧，用以输入到深度学习检测算法，进行视频流的黑烟车检测。

S103：用深度学习算法对关键帧进行黑烟车检测，用以得到带有检测结果的黑烟车视频、目标截图、车牌号、林格曼黑烟系数、所在车道等。

S104：检测结果的保存与分析，对带有黑烟车的视频、目标截图、车牌号、林格曼黑烟系数、所在车道等结果以时间戳命名，进行输出保存，用以后期的分析检查。

本发明提供的基于时空背景比对的黑烟车检测判定方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的基于时空背景比对的黑烟车检测判定方法仅仅是一个具体实施例而已。

如图2所示，本发明提供的基于时空背景比对的黑烟车检测判定系统包括：

视频流获取模块1，用于实现外部连接的工业摄像机获取携带交通路况图像的视频流；

关键帧提取模块2，用于从获取的视频流中提取关键帧；

车辆检测模块3，用于采用深度学习算法对关键帧进行普通车辆检测与黑烟车辆检测，分别保存检测截图与包含黑烟车的5秒视频；

车辆信息识别模块4，用于对黑烟车辆进行车牌识别、林格曼黑烟系数判定、违章道路数判定；

经检测结果分析模块5，用于完成检测结果的保存与分析，对带有检测结果的黑烟车视频、截图、信息等数据等结果进行输出保存。

下面结合附图对本发明的技术方案作进一步的描述。

如图3所示，本发明提供的基于时空背景比对的黑烟车检测判定方法具体包括以下步骤：

步骤一，视频流实时读取，从外部架设的工业级摄像头将外部采集的道路视频流以局域网的形式传输给同一地址段的本地计算机，完成视频流的实时获取。

步骤二，从获取的视频流中提取关键帧，用以输入到深度学习检测算法，进行视频流的黑烟车检测。提取关键帧采用的是“等间距采样法”，假设视频流帧速率为k帧/秒，则每隔k帧采样一帧，减少重复的计算，满足实时性需求。

步骤三，用深度学习算法对关键帧进行黑烟车检测，用以得到带有黑烟车的视频、目标截图、车牌号、林格曼黑烟系数、所在车道等。具体算法步骤如下：

3a)输入关键帧图片，保持长宽比不变的情况下，将图像调整为大小是 416*416的3通道的RGB图像。

3b)运行网络。YOLOv3的卷积层将输入图像分成S*S网格，预测得到边界框大小、位置、目标的置信度。通过非极大值抑制，生成最终的车辆检测数据框，并返回。

3c)获取黑烟可能存在区域。依据得到的车辆检测框，计算车辆前后可能出现黑烟的区域。具体地，黑烟框的长度与对应车辆保持一致，宽度是对应车辆宽度的3/4。

3d)黑烟区域与背景区域进行对比。分别计算黑烟区域与背景区域的像素值均值与方差。若黑烟区域像素均值相较背景减少10％以上(见式1)，则认为存在黑烟，依据均值减少的程度，将黑烟分为林格曼系数的6个等级，见公式 (2)。

3e)车牌检测。若车辆的前后区域被判为林格曼系数大于0的区域，则认为当前车为黑烟车，若为黑烟车，则将车辆区域输入车牌检测算法。具体算法可以分为以下步骤：首先利用u-net图像分割算法得到二值化图像；再使用 Opencv进行边缘检测获得车牌区域坐标，并将车牌图形矫正；最后利用卷积神经网络进行车牌多标签端到端识别。

3f)车道检测。若车辆被判定为黑烟车，则根据车辆所处坐标进行车道检测。读取当前视频流下的图像，人工划取车道线位置，并计算车道线二元一次函数斜率与截距，依据检测框位置(top，left，right，bottom)计算黑烟车中心坐标(x， y)，见公式(3)和(4)，带入y值计算每个车道线对应的x

步骤四，检测结果的保存与分析，对带有黑烟车的视频、目标截图、车牌号、林格曼黑烟系数、所在车道等结果以时间戳命名，进行输出保存，用以后期的分析检查。

以下结合仿真实验，对本发明的技术效果作进一步说明：

1.仿真条件

本实例在Intel(R)Core(R)i7-7700CPU@3.60GHz3.60GHz的CPU、内存 16G、显卡GeForceGTX1080Ti的windows配置下完成本发明的仿真实验。

2.仿真实验内容

(1)图4是本发明实施例提供的所使用深度学习算法YOLOv3得到的视频流的黑烟车检测结果示意图。

(2)图5是本发明实施例提供的每个黑烟车对应的车辆信息文件夹，并以时间戳方式命名示意图。

(3)图6是本发明实施例提供的文件夹中的具体内容，包含黑烟车截图、黑烟车5秒视频、黑烟车辆信息实验。

(4)图7是本发明实施例提供的黑烟车辆信息，由黑烟车车牌号、林格曼黑度系数、车道数组成示意图。

本仿真实验的数据是通过海康威视抓拍摄像头iDS-TCV900实时采集的视频流数据，其中每帧的图像的大小为2560*1440，帧速率为25帧/秒。

3.仿真实验结果及其分析

图4是视频流中包含黑烟车被检测出的结果显示，由图中可以看出算法可以有效的检测出黑烟区域，不仅如此，针对雨天、阴影地面、坑洼路面，算法也可以有效的检测出黑烟区域。图5是每个黑烟车对应的车辆信息文件夹，并以时间戳方式命名示意图，这种方式可以保存黑烟车出现的准确时间，取代了调取监控人眼排查的低效工作，提高了排查效率。图6文件夹中的具体内容，包含黑烟车截图、黑烟车5秒视频、黑烟车辆信息实验。图7是文件夹中包含的黑烟车辆信息，由黑烟车车牌号、林格曼黑度系数、车道数组成示意图。可以准确判定黑烟车的黑度等级，方便了后续的筛查工作。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。