基于图像识别技术的桁架拱桥吊杆安全监测系统及方法

摘要

本发明涉及一种基于图像识别技术的桁架拱桥吊杆安全监测方法及系统，该方法包括如下步骤：提供标记件，将标记件贴设在吊杆上；提供双目相机，通过双目相机对吊杆上的标记件进行拍摄以获得视频数据；从视频数据中提取出对应的图像数据，基于图像识别技术对图像数据中的标记件进行识别以获得标记件的水平位移；根据标记件的水平位移和对应的时间信息获得标记件的时程曲线；利用标记件的时程曲线计算得出吊杆的基频；以及根据基频计算得出吊杆力。本发明的吊杆安全监测方法能够极大的解决硬件设备成本高昂的问题。另外，双目相机的测量精度能够采集到吊杆的微小振动，从而获取吊杆的安全性指标，对吊杆的测试范围广。

说明书

技术领域

本发明涉及桥梁结构安全技术领域，特指一种基于图像识别技术的桁架拱桥吊杆安全监测系统及方法。

背景技术

桁架拱桥由于其受力合理、造型美观，格外受到设计选型青睐。桁架拱桥的主要及关键受力构件是吊杆。由于吊杆质量小、阻尼小、柔度大，在风雨及交通交变载荷的作用下极易发生振动，引起疲劳效应，进而有可能发生疲劳断裂。拱桥的吊杆振动疲劳是一个普遍出现的桥梁结构局部损伤形式，如果不及时处理、任由发展，则会首先引起吊杆钢丝断裂，进而导致内力重分布，最终可能引发吊杆接连断裂的极端情况出现，后果十分严重。所以，实时获取吊杆的受力与振动等安全性指标，进而定量地评估结构的当前状态至关重要。

目前针对吊杆安全性指标的监测，主要通过在吊杆上安装振动传感器获取振动幅度与振动频率，进一步根据频率与吊杆力的关系，进行吊杆力求解。虽然这种监测方法可以产生真实可靠的监测数据，但是由于受到有限空间分辨率的限制，通常需要安装非常密集的传感器阵列，并且需要专业的仪器设备对传感器采集到的信号进行解码和后处理分析。如此一来，传感器及相应设备的硬件成本及安装过程同样十分昂贵。并且，一旦大量的传感器安装运行起来，就会采集到海量的监测数据，数据处理量大。

发明内容

本发明的目的在于克服现有技术的缺陷，提供一种基于图像识别技术的桁架拱桥吊杆安全监测系统及方法，解决现有的传感器检测存在的成本高昂和数据处理量大的问题。

实现上述目的的技术方案是：

本发明提供了一种基于图像识别技术的桁架拱桥吊杆安全监测方法，包括如下步骤：

提供标记件，将所述标记件贴设在吊杆上；

提供双目相机，通过所述双目相机对所述吊杆上的标记件进行拍摄以获得视频数据；

从所述视频数据中提取出对应的图像数据，基于图像识别技术对所述图像数据中的标记件进行识别以获得标记件的水平位移；

根据所述标记件的水平位移和对应的时间信息获得标记件的时程曲线；

利用所述标记件的时程曲线计算得出吊杆的基频；以及

根据如下公式计算得出吊杆力，通过所述吊杆力实现吊杆安全监测，

T＝4WS

上式中，T表示吊杆力，W表示吊杆的线密度，S表示吊杆的长度，F表示吊杆的基频。

本发明采用图像识别技术对吊杆的吊杆力进行安全监测，其硬件设备主要是双目相机，市售价格为3万元，而现有传感器检测方法中一个传感器的价格约2000元，需要每根吊杆上安装一个传感器，配合用的解调仪若采用16通道的约10万元，加入拱桥上设置有10根吊杆，则现有传感器检测的硬件成本为12万元。由此可见，本发明的吊杆安全监测方法能够极大的解决硬件设备成本高昂的问题。另外，双目相机的测量精度能够采集到吊杆的微小振动，从而获取吊杆的安全性指标，对吊杆的测试范围广，而现有的传感器检测方法，由于短小的吊杆刚度效应明显，其振动幅度小，传感器无法测得其振动加速度。

本发明基于图像识别技术的桁架拱桥吊杆安全监测方法的进一步改进在于，利用所述标记件的时程曲线计算得出吊杆的基频的步骤包括：

对所述时程曲线进行二次求导以得到吊杆的振动加速度；

对所述吊杆的振动加速度进行傅里叶变换从而得到吊杆的基频。

本发明基于图像识别技术的桁架拱桥吊杆安全监测方法的进一步改进在于，通过所述双目相机获得标记件的视频数据时，间隔的对所述标记件进行一定时长的连续拍摄，从而得到视频数据。

本发明基于图像识别技术的桁架拱桥吊杆安全监测方法的进一步改进在于，所提供的标记件包括一对横向标记条和一对纵向标记条，所述的一对横向标记条和一对纵向标记条交错连接形成井字形结构；

在获得标记件的时程曲线时，测量所述图像数据中井字形结构的水平位移和垂直位移，进而结合时间信息获得标记件的时程曲线。

本发明基于图像识别技术的桁架拱桥吊杆安全监测方法的进一步改进在于，在设置双目相机时，依据所述双目相机的分辨率选取对应数量的吊杆作为一个测量组；

测量一个测量组中相邻的两个吊杆间的间距，并对测量得到间距均平均值作为安装距离；

将所述双目相机沿一个测量组所在范围的中线位置设置在拱桥上，且所述双目相机距对应的测量组所在范围的中心点的距离等于所述安装距离，利用所述双目相机对所述测量组中的吊杆分别的进行拍摄。

本发明还提供了一种基于图像识别技术的桁架拱桥吊杆安全监测系统，包括：

贴设于吊杆上的标记件；

设于拱桥上并与吊杆上的标记件相对应的双目相机，所述双目相机用于对所述标记件进行拍摄以形成视频数据；

与所述双目相机连接的处理单元，用于从所述视频数据中提取出对应的图像数据，基于图像识别技术对所述图像数据中的标记件进行识别以得到标记件的水平位移，进而通过所述水平位移计算得到时程曲线，利用所述时程曲线计算得到吊杆的基频，从而通过如下公式计算吊杆力，通过所述吊杆力实现吊杆的安全监测，

T＝4WS

上式中，T表示吊杆力，W表示吊杆的线密度，S表示吊杆的长度，F表示吊杆的基频。

本发明基于图像识别技术的桁架拱桥吊杆安全监测系统的进一步改进在于，所述处理单元用于对所述时程曲线进行二次求导以得到吊杆的振动加速度，还用于对所述吊杆的振动加速度进行傅里叶变换从而得到吊杆的基频。

本发明基于图像识别技术的桁架拱桥吊杆安全监测系统的进一步改进在于，所述双目相机间隔的对所述标记件进行一定时长的连续拍摄，从而形成视频数据。

本发明基于图像识别技术的桁架拱桥吊杆安全监测系统的进一步改进在于，所述标记件包括一对横向标记条和一对纵向标记条，所述的一对横向标记条和一对纵向标记条交错连接形成井字形结构；

所述处理单元还用于测量所述图像数据中井字形结构的水平位移和垂直位移，进而结合时间信息获得标记件的时程曲线。

本发明基于图像识别技术的桁架拱桥吊杆安全监测系统的进一步改进在于，所述双目相机设于多个吊杆的前方，分别的对各吊杆进行拍摄。

附图说明

图1为本发明基于图像识别技术的桁架拱桥吊杆安全监测方法的流程图。

图2为本发明基于图像识别技术的桁架拱桥吊杆安全监测系统及方法所监测的拱桥的结构示意图。

图3为本发明基于图像识别技术的桁架拱桥吊杆安全监测系统及方法中标识件的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

参阅图1，本发明提供了一种基于图像识别技术的桁架拱桥吊杆安全监测系统及方法，通过双目相机采集高频视频并提取图像进行识别，可实现对空间信息的高分辨率采集，以非接触的方式对整个视场的空间信息进行编码，避免了接触式传感器的高昂成本以及复杂安装过程。本发明利用图像识别技术，真正实现监测过程的自动化、智能化，保证了结果的稳定性和准确性。下面结合附图对本发明基于图像识别技术的桁架拱桥吊杆安全监测系统及方法进行说明。

本发明提供了一种基于图像识别技术的桁架拱桥吊杆安全监测系统，如图2所示，用于对拱桥10上的吊杆11进行吊杆力的监测，结合图3所示，该安全监测系统包括标记件21、双目相机以及处理单元，其中的标记件21贴设在吊杆11上，双目相机设于拱桥10上并与吊杆11上的标记相对应，该双目相机用于对标记件进行拍摄以形成视频数据；处理单元与该双目相机连接，用于接收双目相机拍摄形成的视频数据，该处理单元用于从视频数据中提取出对应的图像数据，并基于图像识别技术对图像数据中的标记件进行识别以得到标记件的水平位移，进而通过水平位移计算得到时程曲线，利用时程曲线计算得到吊杆的基频，从而通过如下公式计算吊杆力，通过吊杆力实现吊杆的安全监测：

T＝4WS

上式中，T表示吊杆力，W表示吊杆的线密度，S表示吊杆的长度，F表示吊杆的基频。其中吊杆的长度为吊杆上下锚夹具之间的距离，可通过测量得到。吊杆的线密度由吊杆的长度和密度计算得到。

如图2所示，拱桥10上安装有桁架，桁架的拱形部分通过吊杆11与桥面板12连接，多个吊杆11等间隔设置，吊杆对桁架的稳定性起到至关重要的作用，故而吊杆的吊杆力是拱桥结构安全的重要监测指标，本发明的安全监测系统通过对吊杆采集视频数据，提取出图像数据，进而基于图像识别技术获得吊杆的水平位移，由于吊杆受到的振动荷载，较多的反映到吊杆的水平位移上，所以通过监测吊杆的水平位移来计算吊杆的基频，能够较为准确的反映吊杆力，为拱桥的结构安全提供了保障。

本发明基于图像识别技术监测吊杆力与传统的基于传感器获取吊杆力指标的手段相比，图像是一种来源手段更广、获取成本更为低廉、反映信息更为直观的稠密感知手段，具有明显的优越性。此外，本发明的监测系统降低人工检测中对主观经验和意识的依赖，从而真正实现监测过程的自动化、智能化，保证了结果的稳定性和准确性。本发明的安全监测系统能够极大的降低硬件设备成本，简化硬件安装程序。另外，吊杆的长度不一，设置在桁架拱形度较小处的吊杆的长度较小，该短小的吊杆自身刚度效应明显，振动幅度小，传统传感器无法监测到其振动加速度，故而无法对其吊杆力进行测量，而本发明的双目相机的测量精度高，能够采集到吊杆的微小振动，即使是短小的吊杆也能够实现其吊杆力的监测，从而获取吊杆的安全性指标，对吊杆的测试范围广。

在本发明的一种具体实施方式中，处理单元包括接收模块和图像提取模块，该接收模块与双目相机通信连接，用于接收双目相机拍摄的视频数据；图像提取模块与接收模块连接，该图像提取模块用于对视频数据进行图像提出，从视频数据中按2帧率提取图像形成图像数据。

进一步地，处理单元还包括与图像提取模块连接的图像识别模块和与该图像识别模块连接的计算模块，该图像识别模块接收图像提取模块形成的图像数据，按照时间顺序对图像数据中的每一个图像进行识别，识别出图像中的标识件的具体位置；计算模块接收图像识别模块识别出的各图像中的标识件的具体位置，相当于得到了一段时间内的标识件的位置变化信息，也就能够计算得到标识件的时程曲线。较佳地，计算模块根据标识件的实际尺寸，结合标识件的具体位置，计算出各个时间点对应的标识件的水平位移，利用水平位移和时间信息计算出标识件的时程曲线。

在本发明的一种具体实施方式中，处理单元用于对时程曲线进行二次求导以得到吊杆的振动加速度，还用于对吊杆的振动加速度进行傅里叶变换从而得到吊杆的基频。

较佳地，计算模块对时程曲线进行一次求导得到速度，该速度即为吊杆的速度，并记录存储该吊杆的速度。计算模块对该吊杆的速度再进行一次求导得到加速度，也即吊杆的振动加速度，并记录存储该吊杆的振动加速度。计算模块对吊杆的振动加速度进行傅里叶变换得到振动频率，也即吊杆振动的基频。

在本发明的一种具体实施方式中，双目相机间隔的对标记件进行一定时长的连续拍摄，从而形成视频数据。较佳地，双目相机每10分钟以60fps连续采集1分钟的吊杆振动视频，每个吊杆每次监测时间为1小时，获取6分钟的吊杆振动视频。

在本发明的一种具体实施方式中，如图3所示，标记21包括一对横向标记条211和一对纵向标记条212，该一对横向标记条211和一对纵向标记条212交错连接形成井字形结构；处理单元还用于测量图像数据中井字形结构的水平位移和垂直位移，进而结合时间信息获得标记件的时程曲线。

其中一对横向标记条211的竖向位移量即为吊杆的垂直位移，一对纵向标记条212的横向位移量即为吊杆的水平位移。本发明的处理单元在图像识别时，既考虑了吊杆的水平位移，又考虑了吊杆的垂直位移，能够提高吊杆力的监测精度，提高安全性。

较佳地，在测量水平位移和垂直位移时，通过测量像素点的位移来得到对应的水平位移和垂直位移。

进一步地，井字形结构的中心设有中心标记点213，利用该中心标记点213对井字形结构进行标定。双目相机在拍摄视频时，可对准该中心标记点213进行拍摄。进行图像识别时，利用中心标记点213进行图像对准，测量一对横向标记条211的竖向位移量和一对纵向标记条212的横向位移量。

在本发明的一种具体实施方式中，双目相机设于多个吊杆的前方，分别的对各吊杆进行拍摄。

较佳地，结合图2所示，对吊杆11进行划分形成多组，划分时按照吊杆11的设置顺序进行划分，可每4根吊杆划分为一组。将双目相机架设在一组吊杆的前方，并对该组内的各吊杆进行拍摄。

以1至4号吊杆为例对双目相机的架设进行说明。测量1至4号吊杆中相邻两个吊杆的间距，并对所有的间距取平均值，得到平均间距。将双目相机设置在1至4号吊杆的中线上，双目相机距1至4号吊杆的中间点的距离等于平均间距。之后该双目相机可在该位置处对1至4号吊杆分别进行视频采集。

本发明基于图像识别技术的桁架拱桥吊杆安全监测系统的有益效果为：

本发明不仅可以通过图像特征的匹配和随机一致性方法实现时序图像的稳定追踪，保证三维振动监测精度达到0.5mm精度，还可以通过组网使用，快速搭建多点同步观测系统。

本发明的安全监测系统具有设备成本低，施工便捷的优点。采用传统方式的传感器测试吊杆每根吊杆均需要一个传感器，每个传感器的价格约2000元，需要配备一个解调仪，16通道的解调仪价格在10万，传感器与解调设备采购、施工、设计、安装均需要一定的成本。而本发明主要设备是双目相机，价格约3万，相对于传感器的布线安装设置，本发明的双目相机只需要通电拍摄即可，且吊杆上贴的标记件可为标贴纸，成本低廉，贴设方便。

本发明的安全监测系统的测试范围广。拱桥上的短小的吊杆刚度效应明显，无法通过传感器获取吊杆的振动加速度，而本发明的双目相机的帧率为60fps，精度足以采集到短小吊杆的微小振动，能够获取所有吊杆的安全性指标。

本发明的安全监测系统的测试指标全面。采用传感器检测吊杆的振动加速度，无法计算得到振动速度与位移响应，而本发明的图像识别得到的是吊杆的振动位移时程曲线，可通过求导获取对应的速度与加速度。

本发明的安全监测系统能够减少外界人为因素影响，数据安全可靠。传感器检测方法由于桥梁现场状况复杂，经常会引起断电、断网而导致数据丢失，本发明的测试时间短，可以安全可靠的采集并保存所有的测试数据。

本发明的安全监测系统操作简单。传感器检测由于数据丢包等问题，需要进行滤波、剔除与填补，而本发明的图像采集与数据分析可以采用封装完成的程序自动实现，操作简单。

本发明基于图像识别的吊杆安全性指标监测系统，结构简单，使用成本低，精度高且测试范围广，推广性强。不仅获得吊杆的振动加速度、振动速度以及振幅，用于评价吊杆的内部钢丝的安全性，还可以获取吊杆表观图像与视频，方便桥梁管理部门进行追踪吊杆的表观变化及时检查表观病害。

本发明还提供了一种基于图像识别技术的桁架拱桥吊杆安全监测方法，下面对该安全监测方法进行说明。

如图1所示，本发明的基于图像识别技术的桁架拱桥吊杆安全监测方法，包括如下步骤：

执行步骤S101，提供标记件，将标记件贴设在吊杆上；接着执行步骤S102；

执行步骤S102，提供双目相机，通过双目相机对吊杆上的标记件进行拍摄以获得视频数据；接着执行步骤S103；

执行步骤S103，从视频数据中提取出对应的图像数据，基于图像识别技术对图像数据中的标记件进行识别以获得标记件的水平位移；接着执行步骤S104；

执行步骤S104，根据标记件的水平位移和对应的时间信息获得标记件的时程曲线；接着执行步骤S105；

执行步骤S105，利用标记件的时程曲线计算得出吊杆的基频；接着执行步骤S106；

执行步骤S106，根据如下公式计算得出吊杆力，通过吊杆力实现吊杆安全监测，

T＝4WS

上式中，T表示吊杆力，W表示吊杆的线密度，S表示吊杆的长度，F表示吊杆的基频。

本发明的吊杆安全监测方法能够极大的解决硬件设备成本高昂的问题。另外，双目相机的测量精度能够采集到吊杆的微小振动，从而获取吊杆的安全性指标，对吊杆的测试范围广，而现有的传感器检测方法，由于短小的吊杆刚度效应明显，其振动幅度小，传感器无法测得其振动加速度。

在本发明的一种具体实施方式中，利用标记件的时程曲线计算得出吊杆的基频的步骤包括：

对时程曲线进行二次求导以得到吊杆的振动加速度；

对吊杆的振动加速度进行傅里叶变换从而得到吊杆的基频。

进一步地，对时程曲线进行一次求导得到吊杆的速度，对该吊杆的速度再进行一次求导得到吊杆的振动加速度。

在本发明的一种具体实施方式中，通过双目相机获得标记件的视频数据时，间隔的对标记件进行一定时长的连续拍摄，从而得到视频数据。较佳地，利用双目相机每10分钟以60fps连续采集1分钟的吊杆振动视频，每个吊杆每次监测时间为1小时，获取6分钟的吊杆振动视频。

在本发明的一种具体实施方式中，所提供的标记件包括一对横向标记条和一对纵向标记条，的一对横向标记条和一对纵向标记条交错连接形成井字形结构；

在获得标记件的时程曲线时，测量图像数据中井字形结构的水平位移和垂直位移，进而结合时间信息获得标记件的时程曲线。

在本发明的一种具体实施方式中，在设置双目相机时，依据双目相机的分辨率选取对应数量的吊杆作为一个测量组；

测量一个测量组中相邻的两个吊杆间的间距，并对测量得到间距均平均值作为安装距离；

将双目相机沿一个测量组所在范围的中线位置设置在拱桥上，且双目相机距对应的测量组所在范围的中心点的距离等于安装距离，利用双目相机对测量组中的吊杆分别的进行拍摄。

以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。