基于高速快球摄像机实现场景变换视频分析检测的方法、系统、装置、处理器及存储介质

摘要

本发明涉及一种基于高速快球摄像机实现场景变换视频分析检测的方法，包括对基础目标进行多角度的高精度检测识别，并根据检测目标和行车轨迹进行无监督聚类学习，完成交通监控场景的空间重建；分析行车轨迹模型，确定车道方向，完成交通事件检测规则的重建；对出现在交通场景中的目标进行检测，建立包含多种目标运动轨迹的交通流数据，通过对交通流数据的分析实现对交通事件的判定。本发明还涉及相应的系统、装置、处理器及其计算机可读存储介质。采用了本发明的该方法、系统、装置、处理器及其计算机可读存储介质，有效地解决了目前交通运管中存在的疑难需求及技术难题，改善了交通运管的现状，有效地突破了产业中面临的技术瓶颈，极大地推动了智能交通产业的更新换代和飞速发展。

说明书

技术领域

本发明涉及交通行业领域，尤其涉及智能分析应用领域，具体是指一种基于高速快球摄像机实现场景变换视频分析检测的方法、系统、装置、处理器及其计算机可读存储介质。

背景技术

现阶段交通事件的智能分析应用已经在交通行业广泛应用，智能交通产品厂家也推出了各类产品。然而，随着越来越多的交通摄像机部署在场景中，场景建模的人为工作、模型的自适应能力甚至项目产品的生命周期都会受到显著的影响。

(1)首先，在目前智能交通厂商提供的场景算法中，基本都由人工进行建模配置，根据现场的实际情况，依据一定准则和经验，如在视频图像上绘制或配置车道线、车道距离、车道方向、灵敏度等参数信息。因此摄像机越多，配置工作就越大，耗时耗力；

(2)其次，由于人工进行配置，一旦建模完成，配置信息就必须和现实场景匹配。而场景不能随意改变，因此也限制了只能在固定枪机上进行建模。若发生视角或场景的变化，需要人工进行再次修正调整；

(3)对于目前交通场景中越来越多的使用快球摄像机，它有着视角灵活、焦距自如的特点，被广泛使用在众多行业领域。因此，传统场景建模在快球摄像机上应用就存在限制。而目前一般做法是在快球上定义多个预置位，为多个预置位建模。实际上这种做法等于将一个快球转变为多个固定枪机，反而增加了更多的工作量。另外，对于临时自定义的视角无法进行快速建模，依然存在很多弊端。

(4)人工建模依然存在局限性，虽然天气、光照、人为控制的影响，不能做到自适应的自主学习能力，无法应对大规模部署。一旦精度下降，就会导致较多误报，从而智能分析产品沦为无用之物。所以必须长期配备经验丰富的工程师不断修正调试。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种满足鲁棒性好、适应能力强、自主建模能力好的基于高速快球摄像机实现场景变换视频分析检测的方法、系统、装置、处理器及其计算机可读存储介质。

为了实现上述目的，本发明的基于高速快球摄像机实现场景变换视频分析检测的方法、系统、装置、处理器及其计算机可读存储介质如下：

该基于高速快球摄像机实现场景变换视频分析检测的方法，其主要特点是，所述的方法包括以下步骤：

(1)利用目标检测算法，对基础目标进行多角度的高精度检测识别，并根据检测目标和行车轨迹进行无监督聚类学习，完成交通监控场景的空间重建，完成第一层空间关系重建；

(2)分析行车轨迹模型，确定车道方向，结合第一层重建获得的空间结构，完成交通事件检测规则的重建，完成第二层交通规则重建；

(3)对出现在交通场景中的目标进行检测，建立包含多种目标运动轨迹的交通流数据，通过对交通流数据的分析实现对交通事件的判定，完成交通事件检测。

较佳地，所述的步骤(2)具体包括以下步骤：

(2.1)通过结构化道路的特点构造车道线检测模型，检测车道线边缘极大的消除环境中的干扰边缘信；

(2.2)进行双边缘车道线检测；

(2.3)将检测的车道线通过逆透视变换到世界坐标系中，消除干扰与伪2车道线，实现车道线的准确检测。

较佳地，所述的步骤(1)具体包括以下步骤：

(1.1)利用目标检测算法，对各种场景下的基础目标，实现多角度的高精度检测识别；

(1.2)根据检测目标和行车轨迹进行无监督聚类学习，完成交通监控场景的空间重建。

较佳地，所述的步骤(3)具体包括以下步骤：

(3.1)利用深度学习和运动检测对车辆、行人及其他出现在交通场景中的目标进行检测，建立包含多种目标运动轨迹的交通流数据；

(3.2)通过对交通流数据的分析实现对交通事件的判定，完成交通事件检测。

较佳地，所述的步骤(1.1)中高精度检测识别的大范围区域为天空、道路和其他范围区域。

该基于高速快球摄像机实现场景变换视频分析检测的系统，其主要特点是，所述的系统包括：

空间关系重建功能模块，用于利用目标检测算法，对基础目标进行多角度的高精度检测识别，并根据检测目标和行车轨迹进行无监督聚类学习，完成交通监控场景的空间重建，完成第一层空间关系重建；

交通规则重建功能模考，用于分析行车轨迹模型，确定车道方向，结合所述的空间关系重建功能模块所得到的空间结构，完成交通事件检测规则的重建，完成第二层交通规则重建；

交通事件检测功能模块，用于对出现在交通场景中的目标进行检测，建立包含多种目标运动轨迹的交通流数据，通过对交通流数据的分析实现对交通事件的判定，完成交通事件检测。

该基于高速快球摄像机实现场景变换视频分析检测的装置，其主要特点是，所述的装置包括：

处理器，被配置成执行计算机可执行指令；

存储器，存储一个或多个计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的基于高速快球摄像机实现场景变换视频分析检测的方法的步骤。

该基于高速快球摄像机实现场景变换视频分析检测的处理器，其主要特点是，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的基于高速快球摄像机实现场景变换视频分析检测的方法的步骤。

该计算机可读存储介质，其主要特点是，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述的基于高速快球摄像机实现场景变换视频分析检测的方法的各个步骤。

采用了本发明的基于高速快球摄像机实现场景变换视频分析检测的方法、系统、装置、处理器及其计算机可读存储介质，有效地解决了目前交通运管中存在的疑难需求及技术难题，改善了交通运管的现状，使得交通系统中的“AI与设备”之间的相互作用关系以全新的方式呈现，有效地突破了产业中面临的技术瓶颈，极大地推动了智能交通产业的更新换代和飞速发展，填补了国内现有人工智能技术应用与智能交通领域的不足与空白，实现了智能交通产业的能力升级。

附图说明

图1为本发明的基于高速快球摄像机实现场景变换视频分析检测的方法的流程图。

图2为本发明的基于高速快球摄像机实现场景变换视频分析检测的方法的图片处理实施例示意图。

图3为本发明的基于高速快球摄像机实现场景变换视频分析检测的方法的图片处理逆变换后的实施例示意图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。本发明的该基于高速快球摄像机实现场景变换视频分析检测的方法，其中包括以下步骤：

(1)利用目标检测算法，对基础目标进行多角度的高精度检测识别，并根据检测目标和行车轨迹进行无监督聚类学习，完成交通监控场景的空间重建，完成第一层空间关系重建；

(1.1)利用目标检测算法，对各种场景下的基础目标，实现多角度的高精度检测识别；

(1.2)根据检测目标和行车轨迹进行无监督聚类学习，完成交通监控场景的空间重建；

(2)分析行车轨迹模型，确定车道方向，结合第一层重建获得的空间结构，完成交通事件检测规则的重建，完成第二层交通规则重建；

(2.1)通过结构化道路的特点构造车道线检测模型，检测车道线边缘极大的消除环境中的干扰边缘信；

(2.2)进行双边缘车道线检测；

(2.3)将检测的车道线通过逆透视变换到世界坐标系中，消除干扰与伪2车道线，实现车道线的准确检测；

(3)对出现在交通场景中的目标进行检测，建立包含多种目标运动轨迹的交通流数据，通过对交通流数据的分析实现对交通事件的判定，完成交通事件检测；

(3.1)利用深度学习和运动检测对车辆、行人及其他出现在交通场景中的目标进行检测，建立包含多种目标运动轨迹的交通流数据；

(3.2)通过对交通流数据的分析实现对交通事件的判定，完成交通事件检测。

作为本发明的优选实施方式，所述的步骤(1.1)中高精度检测识别的大范围区域为天空、道路和其他范围区域。

作为本发明的优选实施方式，该基于高速快球摄像机实现场景变换视频分析检测的系统，其中包括：

空间关系重建功能模块，用于利用目标检测算法，对基础目标进行多角度的高精度检测识别，并根据检测目标和行车轨迹进行无监督聚类学习，完成交通监控场景的空间重建，完成第一层空间关系重建；

交通规则重建功能模考，用于分析行车轨迹模型，确定车道方向，结合所述的空间关系重建功能模块所得到的空间结构，完成交通事件检测规则的重建，完成第二层交通规则重建；

交通事件检测功能模块，用于对出现在交通场景中的目标进行检测，建立包含多种目标运动轨迹的交通流数据，通过对交通流数据的分析实现对交通事件的判定，完成交通事件检测。

作为本发明的优选实施方式，该基于高速快球摄像机实现场景变换视频分析检测的装置，其中包括：

处理器，被配置成执行计算机可执行指令；

存储器，存储一个或多个计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的基于高速快球摄像机实现场景变换视频分析检测的方法的步骤。

作为本发明的优选实施方式，该基于高速快球摄像机实现场景变换视频分析检测的处理器，其被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的基于高速快球摄像机实现场景变换视频分析检测的方法的步骤。

作为本发明的优选实施方式，该计算机可读存储介质，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述的基于高速快球摄像机实现场景变换视频分析检测的方法的各个步骤。

本发明的具体实施方式中，针对目前业界存在的问题，在长期业务中积累了多方经验，提出以下方案：解决自动化识别车道线、车道距离、车道方向等参数，提高自主建模能力；解决在快速球机、固定枪机、云台枪机等多种设备的自适应能力；解决首次建模后，场景变化导致模型失效的问题，快速场景重建，增加系统鲁棒性；对天气变化、日夜变换、人工光源等环境因素影响，提高适应能力。

传统的交通事件检测，基本上都是基于固定的枪机视角来实现的，因此需要人工设置车道线、车道方向、虚实车道线等参数，但一旦枪机被移动，则所有的规则都会失效，检测精度也将大幅下降，甚至失效。场景变换视频分析检测技术通过三层重建架构，解决了上述难题，创新性的提出了适应球机、枪机、云台摄像机等多种场景变换视频分析检测技术。

首先，系统利用基于深度学习的yolo、ssd等目标检测算法，对各种场景下的基础目标，实现多角度的高精度检测识别，识别出天空、道路和其他这三类大范围区域，并根据检测目标和行车轨迹进行无监督聚类学习，完成交通监控场景的空间重建，即第一层空间关系重建；

其次，通过对行车轨迹模型分析来确定车道方向，结合第一层重建获得的空间结构，完成交通事件检测规则的重建，即第二层交通规则重建；

基于结构化高速公路具有道路平坦的特征，该车道线检测算法首先通过结构化道路的特点构造车道线检测模型；其次采用Sobel

最后，利用深度学习和运动检测对车辆、行人及其他出现在交通场景中的目标进行检测，建立包含多种目标运动轨迹的交通流数据，通过对交通流数据的分析实现对停车、逆行、行人、抛洒物、事故等交通事件的判定，完成交通事件检测，即第三层交通事件重建。

通过三层交通事件重建模型，当球机视角发生改变后，系统能够自动识别出当前场景中的车道，并绘制出车道线及其他道路信息，最终实现该场景下的各类交通事件检测分析。

通过对前端边缘设备采集到的车道图像分析发现，采集图中有包括车道两旁的房屋、树木、前方的天空等数据信息，这些信息基本不包含有车道信息。如果对采集图像直接处理，将增加检测算法的复杂性同时降低车道检测的效率，而且这些无关的信息也可能干扰车道线的准确提取。因此，有必要在进行车道线的检测前，提取有效的感兴趣的车到区域，过滤掉干扰信息。在结构化的高速公路上，车道线信息主要分布在图像的下半部，因此，感兴趣区域设置为0～H/n.感兴趣不仅有效的将数据处理量减少50％，同时能够排除前方天空和道路两旁树木房屋的干扰。

高速公路是一个具有规范化道路标识线与边界的结构化道路。其中道路边界标明了道路区域，车道线将道路区域划分成不同的车道。道路边界和车道线共同约定了车辆的行驶区域，为实现基于视觉的车辆违章行为判定，提供了准则。

现实的公路情况复杂多变，但可以凭借先验性知识约束道路模型，这样能极大地优化问题。首先，图像处理是一个大数据任务，而前端边缘设备要在很短的时间内处理大量的数据，因此减少数据处理量是提高系统的效率的重要方法，感兴趣区域的选择可以有效地减少处理的数据量。其次，实际公路并不是都平坦，大部分道路会存在一定的坡度，在有限的视野范围内，结构化道路的路面可以近似平坦，简化了世界坐标与摄像机坐标系的对应关系。基于这两个先验知识约束，可以有效地减少系统运算量，提高设备的识别效率。

1、构建空间关系

通过对前端边缘设备采集到的车道图像分析发现，采集图中有包括车道两旁的房屋、树木、前方的天空等数据信息，这些信息基本不包含有车道信息。如果对采集图像直接处理，将增加检测算法的复杂性同时降低车道检测的效率，而且这些无关的信息也可能干扰车道线的准确提取。因此，有必要在进行车道线的检测前，提取有效的感兴趣的车到区域，过滤掉干扰信息。在结构化的高速公路上，车道线信息主要分布在图像的下半部，因此，感兴趣区域设置为0～H/n.感兴趣不仅有效的将数据处理量减少50％，同时能够排除前方天空和道路两旁树木房屋的干扰。

1.1逆变换透视

摄像机成像过程可以看做是小孔成像，图像采集是世界坐标系W映射到图像坐标系I的透视投影变换过程。经过透视变换，粗细均匀、平行的车道线在远方逐渐变细并且相交于消失点。为利于对车道线的检测和多车道的分割，需要对采集图进行透视变换。

由于结构化的高速公路上，采集图像视野范围有限，且处理的感兴趣区域有限，可以认为道路平坦。因此透视变换映射过程可以简化，设(x,y)为图像坐标系I中的点，(X,Y)为世界坐标系W中的点，则透视映射可以表示为：

P

式中，有：

P

Q

H为透视变换矩阵，该变换包括8个参数。求解变换矩阵中的参数，需要世界坐标系和图像坐标系对应的4组图形坐标点。

逆透视变换还原了物体的真实世界特征，建立图像二维图像坐标系与三维世界坐标系之间的映射关系。客观世界中，所有平行线投影到图像平面后会相交于消失点。因而，根据消失点的定义可知，图像中所经过消失点的直线在世界坐标系中相互平行的直线，据此特征可以通过消失点和检测的车道线，完成对结构化道路的车道分割。

2、车道线检测识别

结构化的高速公路车道线具有几个特点：路面平坦，左右车道线近似平行，道路平面与车道线的颜色对比度高，弯道曲率半径不低于650。

由于结构化的道路车道线具有对比度高的明显特征，因此基于边缘检测的方法可以很容易提取到车道线的边缘特征。在道路出现阴影、车道线受损的情况下或者车道线连续性差的情况下，也可以给予逆透视变换的方法和Hough直线检测方法很好的拟合出车道线。因此，基于边缘特征的车道线检测方法可有效地克服车道线残缺、路面阴影等外界环境的影响，在该环境下具有很好的鲁棒性。

2.1预处理与去噪

彩色采集图像包含大量的视觉信息，由于结构化的道路图像中车道线与路面的对比度高，在灰度图像中已经可以容易提取到完整的车道线，为加快检测速度，通过灰度图像处理，有效地降低数据处理量提高车道线的检测效率。

目前图像噪声处理方法主要分为空间域和频率域两大类。频率域的去噪方法根据图像的频率特征，将图像变换到频率域，通过构造滤波器滤除噪声频率，再将去噪图像转换回到空间域。空间域的去噪方法是根据像素点及邻域的像素点的关系进行噪声消除。由于边缘设备对检测算法实时性要求较高，且采集图像质量稳定，采用基于中值滤波的空间域去噪方法，对于脉冲噪声抑制效果明显，相当于高斯模糊的去噪方法可以更好地保存车道线边缘信息。

2.2车道线检测

针对经典Hough变换在车道线检测方面存在的问题，采用两种方法改进：

1)改变边缘检测算法，减少树木、阴影、减速带等环境中，非车道线边缘点信息

2)建立车道线检测兴趣区域模型，减少Hough变换过程中边缘点扫描数量，提高直线检测速度

(1)车道线边缘提取

目前在车道线边缘检测中常采用基于Canny算子边缘提取的方法。Canny边缘提取方法能获得较完整的车道边缘，但同时该方法也完整提取树木、阴影、减速带等干扰物体的边缘信息。

通过分析，Canny边缘检测方法能检出较完整的车道线边缘，但同时也检出非常多的干扰边缘。与标准的Sobel和Canny边缘方法相比较，采用的Sobel

(2)改进的车道线检测

通过改进的车道边缘提取方法，一方面减少非车道边缘信息对车道线检出，降低对车道线检测的干扰，另一方面，通过减少非车道线的边缘信息点达到提高Hough变换效率。

在车道线模型中，每个候选车道线区域可能检测出多条车道线，经过Hough直线检测后，对于每个车道都检测出一个直线树。由于客观世界中的所有平行线投影到图像平面后，会相交于消失点，因而检测出的车道线直线在世界坐标系中是相互平行的直线。根据此原理通过前面所求的逆透视变换矩阵H，将检测到的车道线转换到世界坐标系中，根据车道线双边缘在世界坐标系中具有相互平行的约束性特点，就可以实现准确的车道线检测，同时能够消除干扰物与伪车道线，完成车道线的精确定位。

3、对光照气候影响的优化

尽管基于图像的天气状态识别有着不可估量的价值，但是基于图像的天气识别问题并没有得到彻底的解决，但可以优化光照气候等因素对交通识别的影响。通过提取图像的天空、阴影、反光、对比度、纹理五个特征作为图像的特征，然后利用一种投票机制对特征进行分类；针对同一传感器从不同视角拍摄图像的匹配，运用Harris-SIFT算法。利用HSI颜色直方图等特征，识别系统中图像的晴天和雨天的天气状态。实现在固定的单摄像头拍摄的交通图像序列中检测、跟踪、分类车辆的方法。采用词袋模型和空间金字塔匹配对图像的天气状态进行判别。首先，词袋模型通过提取图像的SIFT特征描述子，聚类形成字典，再用字典对形成统计直方图。通过空间金子塔匹配模型，分层统计直方图，最后将模型生成的特征作图像的训练和测试特征。

本实施例的具体实现方案可以参见上述实施例中的相关说明，此处不再赘述。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，相应的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

采用了本发明的基于高速快球摄像机实现场景变换视频分析检测的方法、系统、装置、处理器及其计算机可读存储介质，有效地解决了目前交通运管中存在的疑难需求及技术难题，改善了交通运管的现状，使得交通系统中的“AI与设备”之间的相互作用关系以全新的方式呈现，有效地突破了产业中面临的技术瓶颈，极大地推动了智能交通产业的更新换代和飞速发展，填补了国内现有人工智能技术应用与智能交通领域的不足与空白，实现了智能交通产业的能力升级。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。