基于双目立体视觉技术的导线脱冰跳跃轨迹测量装置

摘要

本发明涉及一种基于双目视觉技术的导线脱冰跳跃轨迹测量装置，该装置包括支架、两个装有可调焦镜头的相机、上位机，支架包括三个可伸缩支腿、旋转平台、俯仰支架、相机安装平台，同时该装置基于双目立体视觉技术，提出一种导线脱冰跳跃轨迹测量方法。本发明采用双目系统误差补偿机制，使得测量结果更加准确；另一方面，本系统巧妙地利用极线与导线两直线交点提取匹配点，使得匹配结果更加准确，效率更高。

说明书

技术领域

本发明属于测量设备领域，尤其是一种基于双目视觉技术的导线脱冰跳跃轨迹测量装置。

背景技术

目前，我国输电网络经常遭受覆冰灾害。导线覆冰后其比载增加，在风载荷作用下，发生摆动，引起断线倒塔事故。导线脱冰会导致导线大幅度运动，对绝缘子串、金具以及铁塔产生较大的动态拉力，造成结构损坏，同时会使导线之间空气间隙减小，引发相间闪络故障。因此,要及时清除导线上的覆冰。从实验研究和实际监测两个角度出发，都要实时测量导线脱冰跳跃轨迹，以控制脱冰进程。

目前，还没有导线脱冰跳跃轨迹测量的成熟方法。

发明内容

本发明的目的在于克服现有技术不足，提供一种解决目前导线脱冰跳跃轨迹测量困难的基于双目立体视觉技术的导线脱冰跳跃轨迹测量装置。

本发明采用的技术方案是：

一种基于双目视觉技术的导线脱冰跳跃轨迹测量装置，该装置包括支架、两个装有可调焦镜头的相机、上位机，支架包括三个可伸缩支腿、旋转平台、俯仰支架、相机安装平台，旋转平台底部通过三个可伸缩支腿支撑，在旋转平台顶部安装俯仰支架，在俯仰支架顶部水平铰装有相机安装平台，在相机安装平台上有滑槽、滑块、钢板尺以及水平泡，在相机安装平台上表面镜像对称安装有两个滑槽，每个滑槽上均滑动安装有一滑块，滑块上设置有相机安装孔，钢板尺设置在与两个滑槽之间对应的相机安装平台上表面位置上，两个相机分别与同一上位机连接，完成两个相机同步拍摄的图像采集、处理及存储。

而且，所述旋转平台为360°平面旋转平台。

而且，在所述俯仰支架上铰装有手柄。

而且，在所述相机安装平台上还嵌装有水平泡。

一种基于双目视觉技术的导线脱冰跳跃轨迹测量装置的操作步骤是：

⑴据标定板大小及目标距离调整相机的基线距，然后紧固滑块等各部位的连接，如首次使用，需要再采用黑白棋盘格标定相机的内参和外参，然后多次做静态测量实验，测量出系统误差曲线；

⑵在脱冰导线下方大于500mm处安放装置，让相机保持仰视姿态，以天空为背景，同时让相机安装平台的长度方向和导线走向垂直，即使得极线和导线有较大夹角；

⑶连续拍摄脱冰导线图像；

⑷将拍摄的图像传送到上位机进行处理数据，计算出脱冰跳跃轨迹。

而且，步骤⑴中，相机的内参和外参的标定方法是：

建立世界坐标系O_WX_WY_WZ_W,每个相机分别建立相机坐标系O_CX_cY_cZ_c作为原点，图像坐标系oxy，图像像素坐标系Ouv，得到图像坐标系与图像像素坐标系关系为：

$>\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{ccc}{d}_x& 0& -u_0{d}_x\\ 0& d_y& -v_0{d}_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)$>

其中d_x,d_y每个像素点在相应方向上的实际物理尺寸，相机坐标系与世界坐标系关系为：

$>\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)=\left(\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)$>

其中R为旋转矩阵，T为平移向量，由线性相机模型得到：

$>Z_c\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)$>

综合上式，得到图像像素坐标系与世界坐标系的关系为：

$>Z_c\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\left(\begin{array}{ccc}\frac{1}{d_x}& 0& u_0\\ 0& \frac{1}{d_y}& v_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)=\left(\begin{array}{cccc}{f}_x& 0& u_0& 0\\ 0& f_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)=$>

$>M_1{M}_2{P}_w={\mathrm{MP}}_w=\left[N\right|n]P_w$>

对于每个相机都可以得到两个上述方程，联立并使用最小二乘法便可以求解出P点坐标，

采用张正友棋盘标定算法，分别标定出两个相机的内参：$>\left(\begin{array}{cccc}{f}_{x1}& 0& u_0& 0\\ 0& f_{y1}& v_0& 0\\ 0& 0& 1& 0\end{array}\right)$>和$>\left(\begin{array}{cccc}{f}_{x2}& 0& u_0& 0\\ 0& f_{y2}& v_0& 0\\ 0& 0& 1& 0\end{array}\right),$>外参：$>\left(\begin{array}{cc}{\tilde{R}}_1& {\tilde{T}}_1\\ 0^T& 1\end{array}\right)$>和$>\left(\begin{array}{cc}{\tilde{R}}_2& {\tilde{T}}_2\\ 0^T& 1\end{array}\right),$>在本装置中，设定世界坐标系和相机坐标系1固连，则$>R_1=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right),$>T₁＝[0 0 0]^T，$>R_2={{\tilde{R}}_1}^{-1}{\tilde{R}}_2,T_2={\tilde{T}}_2-{{\tilde{R}}_1}^{-1}{\tilde{R}}_2{\tilde{T}}_1.$>

而且，所述上位机上采用MATLAB软件编写采集程序，实现两个相机同时连续图像采集、存储，同时需要通过上位机进行静态误差曲线测量：

在距离相机约500mm至3000mm范围内，每隔100mm移动一次靶标进行测量，重复测量9次。以500mm处测量值为误差计算零点，计算出每次测量的误差曲线，然后对每个测量点求平均值，计算出误差曲线，表示为：

Δs_i＝f(s_i)s_i＝0,100,200，….2500

Δs_i为相应距离的测量误差。

计算起始点测量值得平均值，记为averA。

而且，所述步骤⑷中的处理数据流程流程为：图像校正、图像处理、匹配点计算、轨迹曲线计算。

而且，所述图像校正是根据系统的坐标系设定，系统的基础矩阵F＝M₁₁^-1[T₂]_×R₂M₁₂,其中，M₁₁和M₁₂分别为左右相机的内参，[T₂]_×为T₂的反对称矩阵。对于P₁点，其在右图上的极线方程为m＝Fu_P，为P₁在左图像上的像素坐标，P₂点一定位于直线m上。通常来说，由于机械安装等原因，m为斜线。本系统采用Fusiello图像校正方法，通过旋转成像平面将极线校正成水平位置，其变换公式为：T＝N₂N₁^-1，其中N₁为校正前参数，N₂为重新定义相机平面后的参数。校正后，极线处于水平位置，即匹配点在图像像素坐标系中，纵坐标相同。

而且，所述图像处理及匹配点计算过程为：采用二值化的方法提取导线，同时，结合形态学滤波的方法，去除提取后导线边缘的毛刺和内部的孔隙，在上述处理后的图片中找出导线边缘，利用最小二乘法拟合导线中心线方程，然后利用极线与中心线方程的交点求得匹配点。

而且，在计算出导线脱冰跳跃的所述测量值后，进行误差补偿，即以所述averA值作为起点，用误差曲线做补偿，在对应s_i处加上Δs_i，非整数位置采用插值的方法计算误差补偿值。

本发明优点和积极效果为：

本发明提供的基于双目视觉技术的导线脱冰跳跃轨迹测量装置的使用，可以实现导线脱冰跳跃导线轨迹的快速、准确、自动测量，一方面，本系统采用双目系统误差补偿机制，使得测量结果更加准确；另一方面，本系统巧妙地利用极线与导线两直线交点提取匹配点，使得匹配结果更加准确，效率更高。

本发明提供的基于双目视觉技术的导线脱冰跳跃轨迹测量装置结合了双目视觉技术、数字图像处理技术、计算机软件技术等，技术先进，具有良好的推广价值。

附图说明

图1是本发明中导线脱冰跳跃轨迹测量装置的结构示意图；

图2是本发明中导线脱冰跳跃轨迹测量装置的相机安装平台上各部件布局示意图(俯视)；

图3是本发明中导线脱冰跳跃轨迹测量装置中的俯仰支架与机安装平台、手柄的连接结构示意图；

图4是本发明的导线脱冰跳跃轨迹测量装置操作步骤流程图；

图5是本发明的导线脱冰跳跃轨迹测量装置采用的双目视觉技术原理图；

图6是本发明中图像处理流程图。

具体实施方式

下面通过附图结合具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

一种基于双目视觉技术的导线脱冰跳跃轨迹测量装置，该装置包括支架、两个装有可调焦镜头的相机1、上位机6，支架包括三个可伸缩支腿5、旋转平台4、俯仰支架3、相机安装平台2，旋转平台底部通过三个可伸缩支腿支撑，由此满足稳定性的同时便于调节高度，以适应拍摄调整需要，该旋转平台为360°平面旋转平台，可以支持相机360°的方向调整，在旋转平台顶部安装俯仰支架，由此实现相机的俯仰角度调整，使用时，在俯仰支架顶部水平铰装有相机安装平台，为了便于操作，在俯仰支架上铰装有手柄12，俯仰支架的旋转和角度调整只需要操作该手柄即可。

相机安装平台上有滑槽8、滑块10、钢板尺9以及水平泡7，在相机安装平台上表面镜像对称安装有两个滑槽，每个滑槽上均滑动安装有一滑块，滑块上设置有相机安装孔11，用于安装相机，滑块沿着滑槽滑动，从而调整双目系统的基线距，其基线距的值可以通过钢板尺计算得到，钢板尺设置在与两个滑槽之间对应的相机安装平台上表面位置上，在相机安装平台上还嵌装有水平泡，用于指示相机安装平台是否处在水平位置。

两个相机分别与同一上位机连接，完成两个相机同步拍摄的图像采集、处理及存储。

上述导线脱冰跳跃轨迹测量装置的操作步骤是：

⑴据标定板大小及目标距离调整相机的基线距，然后紧固滑块等各部位的连接，如首次使用，需要再采用黑白棋盘格标定相机的内参和外参，然后多次做静态测量实验，测量出系统误差曲线；

⑵在脱冰导线下方大于500mm处安放装置，让相机保持仰视姿态，以天空为背景，同时让相机安装平台的长度方向和导线走向垂直，即使得极线和导线有较大夹角；

⑶连续拍摄脱冰导线图像；

⑷将拍摄的图像传送到上位机进行处理数据，计算出脱冰跳跃轨迹。

步骤⑴中，相机的内参和外参的标定方法是：

建立世界坐标系O_WX_WY_WZ_W,每个相机分别建立相机坐标系O_CX_cY_cZ_c作为原点，图像坐标系oxy，图像像素坐标系Ouv，得到图像坐标系与图像像素坐标系关系为：

$>\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{ccc}{d}_x& 0& -u_0{d}_x\\ 0& d_y& -v_0{d}_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)$>

其中d_x,d_y每个像素点在相应方向上的实际物理尺寸，相机坐标系与世界坐标系关系为：

$>\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)=\left(\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)$>

其中R为旋转矩阵，T为平移矩阵，由线性相机模型得到：

$>Z_c\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)$>

综合上式，得到图像像素坐标系与世界坐标系的关系为：

$>Z_c\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\left(\begin{array}{ccc}\frac{1}{d_x}& 0& u_0\\ 0& \frac{1}{d_y}& v_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)=\left(\begin{array}{cccc}{f}_x& 0& u_0& 0\\ 0& f_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)=$>

$>M_1{M}_2{P}_w={\mathrm{MP}}_w=\left[N\right|n]P_w$>

对于每个相机都可以得到两个上述方程，联立并使用最小二乘法便可以求解出P点坐标，

采用张正友棋盘标定算法，分别标定出两个相机的内参：$>\left(\begin{array}{cccc}{f}_{x1}& 0& u_0& 0\\ 0& f_{y1}& v_0& 0\\ 0& 0& 1& 0\end{array}\right)$>和$>\left(\begin{array}{cccc}{f}_{x2}& 0& u_0& 0\\ 0& f_{y2}& v_0& 0\\ 0& 0& 1& 0\end{array}\right),$>外参：$>\left(\begin{array}{cc}{\tilde{R}}_1& {\tilde{T}}_1\\ 0^T& 1\end{array}\right)$>和$>\left(\begin{array}{cc}{\tilde{R}}_2& {\tilde{T}}_2\\ 0^T& 1\end{array}\right),$>在本装置中，设定世界坐标系和相机坐标系1固连，则$>R_1=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right),$>T₁＝[0 0 0]^T，$>R_2={{\tilde{R}}_1}^{-1}{\tilde{R}}_2,T_2={\tilde{T}}_2-{{\tilde{R}}_1}^{-1}{\tilde{R}}_2{\tilde{T}}_1.$>

图像拍摄过程中，上位机上采用MATLAB软件编写采集程序，实现两个相机同时连续图像采集、存储，同时需要通过上位机进行静态误差曲线测量：

在距离相机约500mm至3000mm范围内，每隔100mm移动一次靶标进行测量，重复测量9次。以500mm处测量值为误差计算零点，计算出每次测量的误差曲线，然后对每个测量点求平均值，计算出误差曲线，表示为：

Δs_i＝f(s_i)s_i＝0,100,200，….2500

Δs_i为相应距离的测量误差。

计算起始点测量值得平均值，记为averA。

步骤⑷中的处理数据流程流程为：图像校正、图像处理、匹配点计算、轨迹曲线计算。

所述图像校正是根据系统的坐标系设定，系统的基础矩阵F＝M₁₁^-1[T₂]_×R₂M₁₂,其中，M₁₁和M₁₂分别为左右相机的内参，[T₂]_×为T₂的反对称矩阵。对于P₁点，其在右图上的极线方程为m＝Fu_P，为P₁在左图像上的像素坐标，P₂点一定位于直线m上。通常来说，由于机械安装等原因，m为斜线。本系统采用Fusiello图像校正方法，通过旋转成像平面将极线校正成水平位置，其变换公式为：T＝N₂N₁^-1，其中N₁为校正前参数，N₂为重新定义相机平面后的参数。校正后，极线处于水平位置，即匹配点在图像像素坐标系中，纵坐标相同。

上述图像处理及匹配点计算过程为：采用二值化的方法提取导线，同时，结合形态学滤波的方法，去除提取后导线边缘的毛刺和内部的孔隙，在上述处理后的图片中找出导线边缘，利用最小二乘法拟合导线中心线方程，然后利用极线与中心线方程的交点求得匹配点。

计算出导线脱冰跳跃的测量值后，进行误差补偿，即以所述averA值作为起点，用误差曲线做补偿，在对应s_i处加上Δs_i，非整数位置采用插值的方法计算误差补偿值。

尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和附图所公开的内容。