基于轮廓和局部特征点的交通流信息感知方法及系统

摘要

本发明公开了一种基于轮廓和局部特征点的交通流信息感知方法及系统，属于智能交通领域。本发明中通过远程控制对分析算法的参数进行配置，能够根据具体场景随时设置或调整分析算法的各种参数，这极大地方便了交通流信息感知装置的使用。本发明中对车辆的追踪首先采用粗略的基于轮廓信息的追踪、评价，以及选择性地进行基于局部特征点的追踪，这种由粗到细的追踪策略能自适应不同的交通场景，并且执行效率高。本发明中的交通信息流感知方法及装置能直接应用于智能交通系统。

说明书

技术领域

本发明属于智能交通领域，涉及到基于远程控制、视频图像信号的交通信 息流感知技术，尤其涉及一种基于图像目标轮廓区域的定位、追踪以及目标局 部特征点的追踪的交通信息流感知方法及系统。

背景技术

随着国民经济的飞速发展，全国的流动车辆数量日益增多，交通系统也面 临极大的压力。智能交通系统在这样的背景下在近年得到了高速的发展，尤其 在高速公路系统中。智能交通系统(Intelligent Transport System，简称ITS)是将 信息技术、数据通讯传输技术、电子传感技术、电子控制技术以及计算机处理 技术等有效地集成运用于整个交通运输管理体系，而建立起的一种在大范围内、 全方位发挥作用的，实时、准确、高效的综合运输和管理系统。

目前全国范围内高速公路以及相关的高速公路基础设施、管理措施都很健 全。多数高速公路上部署了全程的监控系统，这使得监管部门对高速公路的车 流信息、公路运营情况的掌握比较全面，也保证了高速公路的高速、安全、经 济地运营管理。

但是，这些系统都存在一个共性的问题，那就是它们的检测手段主要依靠 环形检测线圈、视频摄像头，传输电缆甚至微波探测器、雷达等设备。其中， 环形检测线圈用于检测过往车辆的数量、大小及车速等，一般需要埋在地下， 对公路的整个截面铺设，铺设成本很高，易损而且维护麻烦；视频摄像头用于 拍摄实时交通场景，并通过传输光缆传输至监控中心显示。这些高成本的设备 对我国一级公路、二级公路都不适用，因为一级、二级公路覆盖范围大，没有 经济收益来源，而铺设和维护检测设备及网络传输设备的代价太大。

面对日益增重的交通压力和传统解决方案的窘迫，一级公路、二级公路需 要有效的检测设备、同时设备的成本应尽量低。近年来，基于视频的交通流检 测方法逐渐兴起，基于视频的检测方法一方面铺设成本低，易于维护和修理； 另外，检测范围大，一般一个检测点只需要一个摄像头就能覆盖。另一方面， 通过视频分析算法分析摄像头采集的视频图像，从而同样能获取交通流信息。

为了解决这一问题，基于视频分析的交通流检测方法充分利用成熟的视频 处理算法，精确地检测、分析每一辆车辆的运动情况。传统的基于视频的分析 算法一般包括基于运动检测的车辆检测和基于虚拟检测线的车辆速度检测，其 中运动检测通常包括背景差法和帧间差法。但是这些方法无法适应复杂多变的 场景，检测精度不高。

发明内容

鉴于此，本发明的首要目的在于为提供一种基于轮廓和局部特征点的交通 流信息感知方法，该方法结合多种常见的视频分析算法，采用取长补短的思想 和多层决策的策略，能根据交通场景自适应调整，具有较高的执行效率和鲁棒 性。该方法具体包括以下步骤：

远程配置交通流信息感知系统的系统参数，包括视频分析的感兴趣区域 ROI(region of interest，简写ROI)和视频图像上像素距离与实际道路上空间距 离之间的转换关系F；

对视频信号进行帧间差操作、对帧间差图像进行形态滤波，并在此基础上 对每辆车的位置进行定位；

根据车辆的位置信息，对每辆车分别进行追踪，设计状态存储结构Memory 记录每辆车的动态状态；

对追踪结果进行评价；

根据评价结果，若追踪结果不够好则提取追踪失败的车辆的特征点，根据 特征点追踪算法对特征点进行追踪，并根据追踪结果更新状态存储结构中每辆 车的状态；若追踪结果足够好则直接更新状态存储结构中每辆车的状态；

计算车辆信息；

对一段时间内采集的车辆信息汇总、生成交通信息流文件，并定时向服务 器发送交通信息流文件。

本发明的另一目的在于提供一种基于轮廓和局部特征点的交通流信息感知 系统，其特征在于所述系统包括：

远端服务器2000：对远程交通流信息感知系统的系统参数进行配置，在节 点生成参数配置文件，采集视频并将采集后的视频数据输出到视频分析子系统 2100；

视频分析子系统2100：通过对视频数据进行一系列操作，计算车辆信息， 并对一段时间内采集的车辆信息汇总、生成交通信息流文件，定时向远端服务 器发送交通信息流文件；

其中，视频分析子系统2100包括：

帧间差分、形态滤波器2110：对视频信号进行帧间差操作，对帧间差图像 进行二值化，然后进行形态滤波；

车辆轮廓区域定位器2120：在滤波后的图像的基础上对每辆车的位置进行 定位；

基于车辆轮廓区域的追踪器2130：根据车辆的位置信息，对每辆车分别进 行追踪，设计状态存储结构记录每辆车的动态状态；

追踪性能判决器2140：对追踪结果进行评价；

车辆局部特征点提取器2150：提取追踪失败的车辆的特征点；

基于车辆局部特征的追踪器2160：根据特征点追踪算法对特征点进行追 踪，并根据追踪结果更新状态存储结构中每辆车的状态。

有益效果：本发明的基于图像目标轮廓区域和局部特征点追踪的交通流信 息感知方法和系统通过远程控制调整摄像头姿势、确定视频分析的感兴趣区域； 采用传统的帧差法和形态滤波检测车辆的粗略位置，并根据位置进行粗略的车 辆追踪；在此之后通过一个至关重要的评价机制，对粗略的追踪结果做性能评 估；再根据评估结果选择性地执行之后的基于局部特征点的算法。本发明通过 远程控制对分析算法的参数进行配置，能够根据具体场景随时设置或调整分析 算法的各种参数，这极大地方便了交通流信息感知装置的使用。本发明中对车 辆的追踪首先采用粗略的基于轮廓信息的追踪、评价，以及选择性地进行基于 局部特征点的追踪，这种由粗到细的追踪策略能自适应不同的交通场景，并且 提高了执行效率。

附图说明

图1为本发明的基于轮廓和局部特征点的交通流信息感知方法流程图；

图2为本发明实现远程配置系统参数的流程图；

图3为本发明实现对视频信号进行帧间差操作、对帧间差图像进行形态滤 波，并在此基础上对每辆车的位置进行定位的流程图；

图4为本发明实现根据车辆的位置信息，对每辆车分别进行追踪，设计状 态存储结构记录每辆车的动态状态的流程图；

图5为本发明实现对追踪结果进行评价，并根据评价结果更新状态存储结 构中每辆车的状态的流程图；

图6为本发明实现对一段时间内采集的车辆信息汇总、生成交通信息流文 件，并定时向服务器发送交通信息流文件的流程图；

图7为本发明的基于图像目标轮廓区域和局部特征点追踪的交通流信息感 知系统的方框图，图中各标记意义如下：远端服务器2000、视频分析子系统 2100、帧间差分、形态滤波器2110、车辆轮廓区域定位器2120、基于车辆轮廓 区域的追踪器2130、追踪性能判决器2140、车辆局部特征点提取器2150、基 于车辆局部特征的追踪器2160。

具体实施方式

如图1所示，基于轮廓和局部特征点的交通流信息感知方法包括如下步骤：

远程配置交通流信息感知系统的系统参数，包括视频分析的感兴趣区域 ROI和视频图像上像素距离与实际道路上空间距离之间的转换关系F；

对视频信号进行帧间差操作、对帧间差图像进行二值化，然后进行形态滤 波，并在此基础上对每辆车的位置进行定位；

根据车辆的位置信息，对每辆车分别进行追踪，设计状态存储结构Memory 记录每辆车的动态状态；

对追踪结果进行评价；

根据评价结果，若追踪结果不够好则提取追踪失败的车辆的特征点，根据 特征点追踪算法对特征点进行追踪，并根据追踪结果更新状态存储结构中每辆 车的状态；若追踪结果足够好则直接更新状态存储结构中每辆车的状态；

根据追踪车辆得到的信息、远程配置的系统参数等计算包括车辆大小、车 速等信息在内的车辆信息；

对一段时间内采集的车辆信息汇总、生成交通信息流文件，并定时向服务 器发送交通信息流文件。

远程配置系统参数的实现流程如图2所示，包括：

步骤101：通过远程控制调整视频信号采集摄像头的姿势，使可观察区域 达到最佳；

步骤102：固定摄像头姿势后，交通流信息感知系统向服务器端发送一张 视频图片；

步骤103：在远端服务器，通过人工介入的方式确定视频分析的感兴趣区 域ROI；

步骤104：在远端服务器，通过人工介入的方式计算视频图像上像素距离 与实际道路上空间距离之间的转换关系F；

步骤105：将ROI信息和转换关系F作为感知及装置系统的系统参数发送 至交通流信息感知及装置系统。

本发明实现对视频信号进行帧间差操作、对帧间差图像进行形态滤波，并 在此基础上对每辆车的位置进行定位的流程如图3所示，包括：

步骤201：视频分析系统从视频信号中获取图像序列，对图像序列作如下 帧间差操作：dI(t)＝|I(t)-I(t-1)|，其中t代表图像帧的时间标号，I(t)表示t 时刻的图像，即当前图像，I(t-1)为前一帧图像，dI(t)为帧间差图像，具体为两 帧差的绝对值构成的图像；

步骤202：对帧间差结果进行二值化：以图像二值化的阈值T₁＝20为例， 若dI(t，i，j)＞20，则dI(t，i，j)←0，否则dI(t，i，j)←255，其中，i表示图像像 素行号，j表示图像像素列号，I(t，i，j)表示t时刻图像在位置(i，j)的像素值， dI(t，i，j)为t时刻的帧间差图像在位置(i，j)上的像素值；

步骤203：在202的结果基础上，对dI(t)进行形态滤波，即传统的开运算 和闭运算；

步骤204：在203的结果基础上，确定每辆车的位置，其步骤为：

(1)在203结果中寻找像素值为0的连通区域，并用外切矩形框出各个连 同区域，将这些矩形记为{S₁，...，S_n}，n为连通区域的个数；

(2)以阈值T₂＝10，T₂’＝100为例，去除{S₁，...，S_n}中面积小于100且大于 10的矩形，即，认为车辆对应的矩形大小适中，要去除过大或者过小的矩形；

(3)以阈值T₃＝10为例，在(2)的基础上将之间距离小于10的两个矩形 合并为同一矩形，即，认为车辆之间的距离较大，靠得较近的两个矩形实际上 对应着同一辆车；

(4)将最终留下来的矩形作为车辆的存在区域{V₁，...，V_k}，k为检测到的车 辆的数量。

根据车辆的位置信息，对每辆车分别进行追踪，设计状态存储结构记录每 辆车的动态状态的流程如图4所示，包括如下步骤：

步骤301：建立状态存储结构Memory，例如Memory中包含50个记忆单 元，记为{mem_cell_1，...，mem_cell_50}，存储单元用于存储在ROI范围内的车 的动态状态，包括车辆的在图片中的位置、在图片中的大小等记录，这里认为 处在ROI范围内的车辆的个数少于50辆；

步骤302：首先根据每个记忆单元中的车辆的历史状态预测在当前帧中车 辆期望出现的位置，例如采用线性预测方法：假设mem_cell_1中记录一辆车的 两帧历史位置(10，20)和(11，30)，则通过线性预测的方法可以粗略地预测 当前帧该车辆的位置为(12，40)；

步骤303：当前帧中检测到的车辆的位置为{V₁，...，V_k(t)}，k(t)表示当前帧中 检测到的车辆的个数，将这些区域与Memory的每个记忆单元中车辆的预测位 置进行匹配，例如根据欧氏距离进行匹配：假设当前mem_cell_1和mem_cell_2 中有车辆记录，且预测位置分别为(12，40)和(22，70)，当前检测到的车辆 的位置为(11，42)和(22，68)，则根据欧式距离可以判断(11，42)与(12， 40)匹配，而(22，68)与(22，70)相匹配；

步骤304.根据匹配结果，将其当前帧中匹配成功的车辆信息添加到 Memory中对应的记忆单元中去，如步骤303中，将(11，42)和(22，68) 分别添加到mem_cell_1和mem_cell_2中；

图5为本发明实现对追踪结果进行评价，并根据评价结果，若追踪结果不 够好则提取追踪失败的车辆的特征点，根据特征点追踪算法对特征点进行追踪， 并根据追踪结果更新状态存储结构中每辆车的状态，若追踪结果足够好则直接 更新状态存储结构中每辆车的状态的流程图，包括如下步骤：

步骤401.当前车辆个数为k(t)，假设在Memory中有记录的存储单元个数 为M’，M’＜M，其中M为Memory中的存储单元个数。若M’≤k(t)，则评价 为“足够好”，否则评价为“不够好”；

步骤402.若M’＜k(t)，表示此时有新的车辆或噪点出现在ROI中，则 将新出现的车辆(或噪点)添加到Memory中的一个新存储单元中；

步骤403.若M’＝k(t)，表示ROI中车辆个数没有变化，且每辆车都被追 踪上；

步骤404.若M’＞k(t)，表示可能有车辆没有检测到，或者有车辆开出 了ROI区域。这通过下面的步骤410做进一步的判断。

步骤405.若追踪结果不够好，则提取当前帧的ROI区域中的Harris(Chris  Harris于1988年提出了在图像中角点的方法，称此角点检测方法为Harris角点)特征点 {P₁，...P_N(t)}，N(t)为ROI中特征点的个数；

步骤406：提取Memory中追踪失败的车辆的Harris特征点{Pf₁¹，...，Pf_N1¹}，...， {Pf₁^L，...，Pf_NL^L}，其中L表示追踪失败的车辆的个数，{Pf₁ⁱ，...，Pf_Niⁱ}表示第i辆追 踪失败的车辆在上一帧中的特征点；

步骤407：利用特征点追踪算法KLT(Kanade-Lucas-Tomasi)算法，在 {P₁，...P_N(t)}中追踪每辆追踪失败的车辆的特征点；

步骤408：对于{Pf₁ⁱ，...，Pf_Niⁱ}，设步骤407中成功追踪到的特征点的个数为 s_i，s_i≤N₁，以阈值T₄＝0.6为例，若s_i/N_i＞0.6，则认为Memory中第i辆车 通过局部特征点追踪方法追踪成功，否则追踪失败；

步骤409：根据步骤408中追踪成功的车辆的特征点，以及与之相匹配的 特征点的位置变化情况，推测该车辆的运动情况，在此基础上构造车辆在当前 帧中的状态，并将构造结果添加到Memory中的对应存储单元中；

步骤410：到目前为止，对Memory中以上两种追踪方法都失效的车辆， 若车辆的预测位置处在ROI的边界附近，则判定该车辆已经开出ROI区域，同 时将该车辆信息移至缓存文件；否则认为有车辆未能正确地追踪到；

在此基础上，根据追踪车辆得到的信息、远程配置的系统参数等计算车辆 的信息，包括车辆大小、车速等，包括如下步骤：

根据缓存文件中记录的车辆的矩形区域的大小以及在前述步骤104中得到 的图像位置与实际位置之间的变换关系F，计算得到车辆的实际大小；

根据缓存文件中记录的车辆在ROI中位置的变化情况，结合图像位置与实 际位置之间的变换关系F，计算得到车辆的运动速度。

本发明实现对一段时间内采集的车辆信息汇总、生成交通信息流文件，并 定时向服务器发送交通信息流文件的流程如图6所示，包括：

步骤501.对车辆信息缓存文件进行整理，并添加附加信息，如系统标签、 起始时间等，形成交通信息流文件；

步骤502.通过网络将该交通信息流文件传送至服务器端。

本发明的基于图像目标轮廓区域和局部特征点追踪的交通流信息感知系统 框图如图7所示，该系统包括

远端服务器2000：对远程交通流信息感知系统的系统参数进行配置，在节 点生成参数配置文件，采集视频并将采集后的视频数据输出到视频分析子系统 2100；

视频分析子系统2100：通过对视频数据进行帧间差分、形态滤波、车辆轮 廓定位、追踪性能判决、车辆局部特征提取及车辆局部特征追踪等操作，计算 车辆信息，包括车辆大小、车速等，并对一段时间内采集的车辆信息汇总、生 成交通信息流文件，定时向远端服务器发送交通信息流文件；

其中，视频分析子系统2100包括：

帧间差分、形态滤波器2110：对视频信号进行帧间差操作，对帧间差图像 进行二值化，然后进行形态滤波；

车辆轮廓区域定位器2120：在滤波后的图像的基础上对每辆车的位置进行 定位；

基于车辆轮廓区域的追踪器2130：根据车辆的位置信息，对每辆车分别进 行追踪，设计状态存储结构记录每辆车的动态状态；

追踪性能判决器2140：对追踪结果进行评价；

车辆局部特征点提取器2150：提取追踪失败的车辆的特征点；

基于车辆局部特征的追踪器2160：根据特征点追踪算法对特征点进行追 踪，并根据追踪结果更新状态存储结构中每辆车的状态。

以上内容是结合最佳实施方案对本发明所作的进一步详细说明，不能认定 本发明的具体实施局限于这些说明。本领域的技术人员应该理解，在不脱离由 所附权利要求书限定的本发明的精神和范围的情况下，还可以对其进行形式和 细节上的各种修改，都应当视为属于本发明的保护范围。