依赖邻近高耸结构的桥面交通流全视场感知系统及方法

摘要

本发明涉及一种依赖邻近高耸结构的桥面交通流全视场感知系统，包括视觉信息获取组件和视觉信息处理组件；视觉信息获取组件包括相互电连接的视觉成像阵列和同步采集器，所述视觉成像阵列设于梁式桥或上承式拱桥附近的高耸结构外壁面，以此构成梁式桥或上承式拱桥侧方的视觉场；视觉信息处理组件包括相互连接的数据传输模块和数据处理模块；通过数据处理模块获得梁式桥或上承式拱桥的桥面的动态全景图像，获得梁式桥或上承式拱桥的动态桥面交通流特征。与现有技术相比，本发明通过视觉信息获取组件和视觉信息处理组件的耦合实现梁式桥或上承式拱桥桥面交通流全视场感知，为梁式桥或上承式拱桥全桥面交通流监测提供了技术支持。

说明书

技术领域

本发明涉及桥梁监控领域，尤其是涉及一种依赖邻近高耸结构的桥面交通流全视场感知系统及方法。

背景技术

梁式桥是指用梁或桁架梁作为主要承重结构的桥梁。其上部结构在铅垂向荷载作用下，支点只产生竖向反力。梁式桥为桥梁的基本体系之一。制造和架设均甚方便，使用广泛，在桥梁建筑中占有很大比例。上承式拱桥是指桥面系设置在拱肋上面的桥梁，其与梁式桥的共性在于桥面以上不存在其他的桥梁构件。

桥面交通流信息获取以及交通流特征对于交通规划、交通管理、桥梁管理养护等至关重要，对于梁式桥或上承式拱桥而言，桥面以上仅可能有照明灯杆、监控摄像龙门架等附属设施，它们的共性在于高度不高，一般为7米以下，若安装交通流监控摄像头，则存在车辆遮挡等问题。

因此如何实现梁式桥或上承式拱桥桥面交通流全视场监测是目前本领域亟需解决的技术问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种依赖邻近高耸结构的桥面交通流全视场感知系统及方法，其中通过将视觉成像阵列设于梁式桥或上承式拱桥附近的高耸结构外壁面，以此构成梁式桥或上承式拱桥侧方的视觉场，通过视觉信息获取组件和视觉信息处理组件的耦合实现梁式桥或上承式拱桥桥面交通流全视场感知。

本发明的目的可以通过以下技术方案来实现：

本发明的第一个目的是保护一种依赖邻近高耸结构的桥面交通流全视场感知系统，包括视觉信息获取组件和视觉信息处理组件；

所述视觉信息获取组件包括相互电连接的视觉成像阵列和同步采集器，所述视觉成像阵列设于梁式桥或上承式拱桥附近的高耸结构外壁面，以此构成梁式桥或上承式拱桥侧方的视觉场；

在垂向高度上，所述高耸结构的顶部与所述梁式桥或上承式拱桥的桥面之间的高度差大于7m；

所述视觉信息处理组件包括相互连接的数据传输模块和数据处理模块；

所述数据传输模块与视觉成像阵列无线或有线通信连接，以此按照对应的帧率，通过单帧截取的方式从视觉成像阵列生成的视频流中获取图像并传输至所述数据处理模块，通过所述数据处理模块获得梁式桥或上承式拱桥的桥面的动态全景图像，并进一步获得所述梁式桥或上承式拱桥的动态桥面交通流特征。

进一步地，所述视觉成像阵列由多个成像单元构成，每个所述成像单元均与所述同步采集器电连接，以此各个实现每帧视频图像信息的时间同步。

进一步地，每个所述成像单元设于高耸结构的外壁面上，每个所述成像单元相对于所述梁式桥或上承式拱桥的桥面的高度差大于等于7m。

进一步地，成像单元在所述高耸结构的壁面上排列成一个或多个阵列，所述阵列为线性阵列、矩形阵列或环形阵列。

进一步地，每个所述成像单元以特定的空间角度朝向梁式桥或上承式拱桥面，并分别获取梁式桥或上承式拱桥的桥面特定区域上的实时视频流信息；

每个所述成像单元通过姿态调节单元固定于高耸结构外壁面上，所述姿态调节单元为具有一个或多个调节关节的机械臂。

进一步地，所述桥面交通流全视场感知系统还包括存储组件，所述存储组件与所述视觉信息处理组件无线或有线通信连接。

进一步地，所述存储组件包括分别与数据传输模块、数据处理模块无线或有线通信连接的交通流特征存储模块、视频流信息数据库；

所述存储组件还包括分别与交通流特征存储模块、视频流信息数据库无线或有线通信连接云存储器。

进一步地，桥面交通流全视场感知系统还包括相互连接的人机交互界面和视觉设备控制模块；

所述视觉设备控制模块分别与各个姿态调节单元无线或有线通信连接，以此实现各个成像单元的姿态调整与成像参数调整。

本发明的第二个目的是提供一种依赖邻近高耸结构的桥面交通流全视场感知方法，其特征在于，包括以下步骤：

S1：通过视觉设备控制模块分别对各个成像单元进行姿态调整与成像参数调整，通过设于梁式桥或上承式拱桥附近的高耸结构外壁面的视觉成像阵列，分别获取梁式桥或上承式拱桥的桥面特定区域上的实时视频流信息，并通过同步采集器进行时间同步；

S2：通过数据传输模块将视觉成像阵列获取的视频流信息传输至数据处理模块，通过所述数据处理模块获得梁式桥或上承式拱桥的桥面的动态全景图像，并进一步获得所述梁式桥或上承式拱桥的动态桥面交通流特征；

S3：通过存储组件对所述梁式桥或上承式拱桥的动态桥面交通流特征进行存储，并通过人机交互界面进行显示。

进一步地，S1中通过人机交互界面将调控指令集传输至设备控制模块，设备控制模块向各个成像单元对应的姿态调节单元发出姿态调整动作指令，并向各个成像单元发出参数调节指令，以此实现各个成像单元进行姿态调整与成像参数调整。

进一步地，S2中数据传输模块按照对应的帧率，通过单帧截取的方式从视觉成像阵列生成的视频流中获取图像并传输至所述数据处理模块，同时数据传输模块将视频流存储至存储组件；

进一步地，S2中数据处理模块对于每个成像单元观测区域，选取4个以上的桥面控制点，通过透视投影变换，对桥面观测区域进行校正，通过控制点间的实际距离与图像中对应的像素距离，换算图像中像素的实际尺寸，并对应到桥面物理坐标系中，将所有同时刻图像均进行处理，形成覆盖全桥面范围的全景图像。

进一步地，对于全景图像，数据处理模块基于深度学习方法检测桥面车辆，通过卡尔曼滤波方法进行车辆多目标跟踪，获取交通流中的车辆类型、尺寸和速度，形成标准化数据，最后对标准化数据进行统计分析，得到桥面交通流特征。

与现有技术相比，本发明具有以下技术优势：

1)本技术方案通过将视觉成像阵列设于梁式桥或上承式拱桥附近的高耸结构外壁面，以此构成梁式桥或上承式拱桥侧方的视觉场，并通过视觉信息获取组件和视觉信息处理组件的耦合实现梁式桥或上承式拱桥桥面交通流全视场感知，为梁式桥或上承式拱桥全桥面交通流监测提供了技术支持。

2)本技术方案中的每个成像单元以特定的空间角度朝向梁式桥或上承式拱桥桥面，并分别获取梁式桥或上承式拱桥的桥面特定区域上的实时视频流信息，并可以通过人机交互界面及视觉设备控制模块实现对每个成像单元的姿态和视觉信息获取参数进行适应性的调整，以此实现最佳的梁式桥或上承式拱桥全桥面的交通流监测方式。

附图说明

图1为本技术方案中依赖邻近高耸结构的桥面交通流全视场感知系统的结构示意图；

图2为本技术方案中梁式桥侧方视觉场的模型示意图；

图3为本技术方案中视频流数据处理流程示意图。

图中：1、视觉信息获取组件，2、视觉信息处理组件，3、高耸结构，4、存储组件，5、视觉设备控制模块，6、人机交互界面，11、视觉成像阵列，12、同步采集器，21、数据传输模块，22、数据处理模块，41、交通流特征存储模块，42、视频流信息存储模块，43、云存储器，5、视觉设备控制模块，6、人机交互界面。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

本实施例中依赖邻近高耸结构的桥面交通流全视场感知系统，包括视觉信息获取组件1和视觉信息处理组件2。在垂向高度上，高耸结构3的顶部与梁式桥的桥面之间的高度差大于7m。本实施例中的高耸结构3可以为高层建筑、信号塔等类似结构均可。

视觉信息获取组件1包括相互电连接的视觉成像阵列11和同步采集器12，视觉成像阵列11设于梁式桥附近的高耸结构3外壁面，以此构成梁式桥侧方的视觉场，参见图2。

视觉信息处理组件2包括相互连接的数据传输模块21和数据处理模块22，参见图1。数据传输模块21与视觉成像阵列11无线或有线通信连接，以此按照对应的帧率，通过单帧截取的方式从视觉成像阵列11生成的视频流中获取图像并传输至数据处理模块22，通过数据处理模块22获得梁式桥的桥面的动态全景图像，并进一步获得梁式桥的动态桥面交通流特征。

视觉成像阵列11由多个成像单元构成，每个成像单元均与同步采集器12电连接，以此各个实现每帧视频图像信息的时间同步。每个成像单元设于高耸结构3的外壁面上，每个成像单元相对于梁式桥的桥面的高度差大于等于7m。成像单元在高耸结构3的壁面上排列成一个或多个阵列，阵列为线性阵列、矩形阵列或环形阵列。每个成像单元以特定的空间角度朝向梁式桥面，并分别获取梁式桥的桥面特定区域上的实时视频流信息。

每个成像单元通过姿态调节单元固定于高耸结构3外壁面上，姿态调节单元为具有一个或多个调节关节的机械臂，机械臂的每节上均可以设置陀螺仪等姿态检测传感器，以此可以向人机交互界面6反馈机械臂处于的姿态，实现每个成像单元实时姿态的动态表征，方便于对每个成像单元的姿态进行适应性的调整。

桥面交通流全视场感知系统还包括存储组件4，存储组件4与视觉信息处理组件2无线或有线通信连接。存储组件4包括分别与数据传输模块21、数据处理模块22无线或有线通信连接的交通流特征存储模块41、视频流信息数据库42。存储组件4还包括分别与交通流特征存储模块41、视频流信息数据库42无线或有线通信连接云存储器43。其中交通流特征存储模块41、视频流信息数据库42、有线通信连接云存储器43均为匹配有独立缓存和独立控制器的大容量储存器。

桥面交通流全视场感知系统还包括相互连接的人机交互界面6和视觉设备控制模块5。视觉设备控制模块5分别与各个姿态调节单元无线或有线通信连接，以此实现各个成像单元的姿态调整与成像参数调整。具体实施时人机交互界面6为多触控点的显示屏幕，其作为I/O设备与视觉设备控制模块5连接。

本实施例中依赖邻近高耸结构的桥面交通流全视场感知方法包括以下步骤：

S1：通过视觉设备控制模块5分别对各个成像单元进行姿态调整与成像参数调整，通过设于梁式桥附近的高耸结构3外壁面的视觉成像阵列11，分别获取梁式桥的桥面特定区域上的实时视频流信息，并通过同步采集器进行时间同步，参见图1。

S1中通过人机交互界面6将调控指令集传输至设备控制模块5，设备控制模块5向各个成像单元对应的姿态调节单元发出姿态调整动作指令，并向各个成像单元发出参数调节指令，以此实现各个成像单元进行姿态调整与成像参数调整。

S2：通过数据传输模块21将视觉成像阵列11获取的视频流信息传输至数据处理模块22，通过数据处理模块22获得梁式桥的桥面的动态全景图像，并进一步获得梁式桥的动态桥面交通流特征。

S2中数据传输模块21按照对应的帧率，通过单帧截取的方式从视觉成像阵列11生成的视频流中获取图像并传输至所述数据处理模块22，同时数据传输模块21将视频流存储至存储组件4。

S2中数据处理模块22对于每个成像单元观测区域，选取4个以上的桥面控制点，通过透视投影变换，对桥面观测区域进行校正，通过控制点间的实际距离与图像中对应的像素距离，换算图像中像素的实际尺寸，并对应到桥面物理坐标系中，将所有同时刻图像均进行处理，形成覆盖全桥面范围的全景图像。对于全景图像，数据处理模块22基于深度学习方法检测桥面车辆，通过卡尔曼滤波方法进行车辆多目标跟踪，获取交通流中的车辆类型、尺寸和速度，形成标准化数据，最后对标准化数据进行统计分析，得到桥面交通流特征。

本实施例中数据处理模块22为ARM架构的CPU或x86架构的CPU，并匹配有与CPU所在总线连接主存储器和辅助存储器，在辅助存储器中有预设的图片信息处理程序，包括以下处理过程。

采用预先构建和训练好的车辆检测模型，实时识别视觉系统获取的第n帧桥面车辆全景图中车辆的位置，得到车辆的检测框；

通过预设的卡尔曼滤波模型，实时根据第n帧桥面车辆全景图之前的图像帧，预测第n帧桥面车辆全景图中对应车辆的预测框，并将第n帧桥面车辆全景图中的检测框与对应车辆的预测框匹配，获取或更新车辆轨迹信息；

本实施例中采用的卡尔曼滤波模型包括改进的状态预测模块和跟踪器校验模块，卡尔曼滤波模型对检测到的每个车辆均设置有一一对应的跟踪器，所有跟踪器构成跟踪器组群，改进卡尔曼滤波模型初始化后将预设的丢失帧数置零。

本实施例中采用的卡尔曼滤波模型的数据处理过程包括以下步骤：

A1：通过改进的状态预测模块，根据第n帧桥面车辆全景图之前的图像帧，预测第n帧桥面车辆全景图中对应车辆的预测框；

A2：计算第n帧桥面车辆全景图中检测框与对应车辆的预测框的重叠度，若该重叠度大于预设的重叠阈值，则根据该预测框与检测框，生成初步匹配的检测-跟踪对，并执行步骤A3，否则将该预测框与检测框标记为未匹配检测，并执行步骤A5；

A3：采用跟踪器校验模块校验初步匹配的检测-跟踪对，若满足预设的校验条件，则将丢失帧数置零，并更新该车辆的跟踪器，若否，则将该预测框与检测框标记为未匹配跟踪器，并执行步骤A6：

A5：判断检测框是否位于桥面车辆全景图的两端，若是，则对该车辆生成新的跟踪器，并添加进跟踪器组群，若否，则删除该预测框与检测框构成的检测结果；

A6：判断预测框是否超出桥面车辆全景图的边界，若是，则根据该跟踪器，生成该车辆的时空轨迹数据，并删除该跟踪器；否则判断丢失帧数是否大于预设的丢失阈值，若是，则根据该跟踪器，生成该车辆的时空轨迹数据，并删除该跟踪器；否则将该车辆对应的丢失帧数加1，并继续进行数据处理。

作为一种优选的实施方式，改进的状态预测模块的数据处理过程包括以下步骤：

邻速平均步骤：通过某一车辆最近的预设的第一次数的检测位置(若实际检测小于21次，则取所有实际检测位置)，对相邻检测位置计算位移差和帧数差，计算得到多个速度，进行算术平均，得到平均速度；

长度拉伸步骤：根据车辆距离最近桥塔的距离，乘拉伸系数，得到长度拉伸后的预测长度；

预测框获取步骤：根据平均速度以及该车辆当前位置的形心，计算该车辆预测框的形心，将预测长度作为该车辆预测框的长度，将该车辆的宽度作为该车辆预测框的宽度。

进一步地，作为一种优选的实施方式，改进的状态预测模块的数据处理过程还包括对获取的预测框进行微调，具体包括以下步骤：

碰撞分离步骤：若相邻帧数的两预测框在车长方向有重叠，重叠长度为E

扩大搜索：若丢失帧数处于预设的丢失搜索范围，则分别扩大该预测框的预测长度和宽度。

作为一种优选的实施方式，跟踪器校验模块的数据处理过程包括以下步骤：

形状校验步骤：记检测框的长和宽分别为L

0.75×L

0.75×W

进一步地，作为一种优选的实施方式，跟踪器校验模块的数据处理过程还包括：

速度校验步骤：跟踪器的邻速为V

-5<(X

作为一种优选的实施方式，重叠阈值为60％。

作为一种优选的实施方式，视觉系统包括多个摄像机，桥梁中两个桥塔横梁上方均设有多个摄像机，形成多视场摄影系统，每个桥塔横梁上方的多个摄像机的摄像机观测区域分别视为由近到远的近塔区域、过渡区域和跨中视域。

相邻的摄像机观测区域具有影像重叠，两个桥塔横梁对应的跨中区域具有影像重叠。

S3：通过存储组件4对梁式桥的动态桥面交通流特征进行存储，并通过人机交互界面6进行显示，用户可以查阅任意时空位置的动态桥面交通流特征，并可以通过人机交互界面6实现对每个成像单元的姿态和视觉信息获取参数进行适应性的调整。

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。