一种基于双目视觉的交通标志牌三维重建方法

摘要

本发明公开了一种基于双目视觉的交通标志牌三维重建方法，包括S1、交通标志牌识别与轮廓提取；S2、交通标志在连续帧中的跟踪；S3、连续帧跟踪后的图像中确定Host帧和Target帧；S4、在Target帧中构建交通标志牌边缘距离图；S5、基于双目视差，计算Host帧观测到的平面方程参数作为初值；S6、将Host帧的交通标志牌边缘点作射线与S5中的平面方程相交，构建三维点，将三维点重投影到Target帧上的边缘距离图，重投影构建误差函数；S7、调整平面方程的值，改变重投影点位置，优化求解误差函数；S8、基于三维平面方程，获得交通标志牌的朝向信息，并将Host帧的边缘点，作射线与平面方程相交，得到交通标志牌三维点云图。

说明书

技术领域

本发明属于图像识别的技术领域，具体涉及一种基于双目视觉的交通标志牌三维重建方法。

背景技术

现有的交通标志牌三维重建技术主要包括以下三种：

1、基于特征点的三维重建；其原理是基于特征点的多视图重建。

2、基于双目视差的三维重建；其原理是基于双目视差重建稠密三维点云。

3、基于片假设的多视图重建技术(Patch-based Multi-view Stereo)。其原理是假设空间由连续的三维小片(Patch)构成，通过优化每个小片的朝向进而完成空间的三维重建。

上述方法都不能很好的解决交通标志牌的三维重建问题。

第一种方法在重建交通标志牌时，只能重建出一些离散的空间三维点，无法获取交通标志牌的几何尺寸和朝向；

第二种方法能够较完整的重建出交通标志牌的形状，但是重建出的三维点云相互独立，缺少约束。且由于双目视差较小，重建出的误差较大，其获取到的朝向信息精度较低；

第三种方法虽然有空间平面假设，但是它并没有把交通标志牌看出一个整体来做优化，其重建出的交通标志牌必然存在多个平面，这不满足实际情况，无法获取交通标志牌的朝向和尺寸信息。

发明内容

本发明的目的在于针对现有技术中的上述不足，提供一种基于双目视觉的交通标志牌三维重建方法，以解决或改善上述的问题。

为达到上述目的，本发明采取的技术方案是：

一种基于双目视觉的交通标志牌三维重建方法，其包括：

S1、获取交通标志牌的图像，并基于双目视差图提取图像中交通标志牌的轮廓；

S2、获取交通标志牌的连续帧图像，并基于双目视差图提取三维空间中同一个交通标志牌在图像中的轮廓；

S3、在连续帧图像中确定Host帧和Target帧；

S4、基于Target帧中的交通标志牌构建边缘距离图；

S5、基于双目视差，计算Host帧观测到的平面方程，作为初值；

S6、将Host帧的交通标志牌边缘点作射线与S5中的平面方程相交，构建三维点，将三维点重投影到Target帧上的边缘距离图，重投影构建误差函数；

S7、调整平面方程的值，改变重投影点位置，优化求解误差函数；

S8、基于三维平面方程，获得交通标志牌的朝向信息，并将Host帧的边缘点，作射线与平面方程相交，得到交通标志牌三维点云图。

优选地，S3在连续帧图像中确定Host帧和Target帧，包括：从连续帧图像中选择1帧作为Host帧，其余帧作为Target帧。

优选地，S4中基于Target帧构建边缘距离图，包括：

计算图像中每一个非零点像素与其最近的零点像素之间的距离，保存每一个非边缘像素点与最近边缘点的距离信息。

优选地，S5中基于双目视差，计算Host帧观测到的平面方程为：

Ax+By+Cz+D＝0

其中，参数A，B，C，D是描述平面空间特征的系数，参数(A，B，C)构成的矢量表示平面的法向。

优选地，S6中根据边缘距离图，重投影构建误差函数，包括：

利用Host帧上的边缘点，作射线与平面方程相交，交点构成三维点，将三维点再重投影回Target帧，根据边缘距离图和重投影点与边缘的误差，构建误差函数：

其中，f(A，B，C，D)表示误差函数是参数A，B，C，D的函数，下标i为Target帧的编号，Target共N-1帧；下标j表示投影点的序号，M

优选地，S6中平面方程的求解，包括：

S6.1、提取Host帧的交通标志牌边缘；

S6.2、基于S6.1中的边缘点在相机坐标系下作射线；

S6.3、射线与初值平面方程相交，得到空间三维点；

S6.4、将所得三维点通过相机投影到Target帧，得到投影点；

S6.5、改变平面方程得到不同的投影位置；

S6.6、得到三维点的投影与Target帧提取边缘重合。

优选地，S6.3中射线与初值平面方程相交，得到空间三维点，联立平面方程和相机逆投影公式，求出投影点坐标：

其中，(X

在已知像素位置(u,v)和平面方程时，通过像素点做射线与平面方程相交，可得空间交点(X

优选地，相机逆投影公式为：

优选地，像素位置(u,v)为：

优选地，S7中调整平面方程的值，改变重投影点位置，优化求解误差函数，包括：

调整参数A、B、C、D，当误差函数f达到极小值时，所得的参数A、B、C、D即是目标值。

本发明提供的基于双目视觉的交通标志牌三维重建方法，具有以下有益效果：

本发明将重建三维标志牌的一个目标，转换为求解由4个自变量组成的空间三维平面方程，基于该三维平面方程，构建出基于交通标志牌边缘的误差函数；利用优化算法，最小化误差函数，得到优化解；最后利用图像中，交通标志牌的边缘点作射线与空间平面方程相交，由此重建出交通标志牌三维信息。相对于现有技术，本发明重建出的交通标志牌具有完整的几何尺寸和朝向信息，重建过程利用了多个位置的图像信息，大大增加了重建视差，从而提高了重建精度，将交通标志牌假设为一个平面方程，该假设即符合实际情况，又简化重建过程。

附图说明

图1为平面方程优化求解示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

根据本申请的一个实施例，参考图1，本方案的基于双目视觉的交通标志牌三维重建方法，包括：

S1、获取交通标志牌的图像，并基于双目视差图提取图像中交通标志牌的轮廓；

S2、获取交通标志牌的连续帧图像，并基于双目视差图提取三维空间中同一个交通标志牌在图像中的轮廓；

S3、在连续帧图像中确定Host帧和Target帧；

S4、基于Target帧中的交通标志牌构建边缘距离图；

S5、基于双目视差，计算Host帧观测到的平面方程，作为初值；

S6、将Host帧的交通标志牌边缘点作射线与S5中的平面方程相交，构建三维点，将三维点重投影到Target帧上的边缘距离图，重投影构建误差函数；

S7、调整平面方程的值，改变重投影点位置，优化求解误差函数；

S8、基于三维平面方程，获得交通标志牌的朝向信息，并将Host帧的边缘点，作射线与平面方程相交，得到交通标志牌三维点云图。

本发明通过图像识别技术，从图像中识别出交通标志牌，并利用计算机视觉技术从图像中提取出交通标志牌的边缘，在重建交通标志牌时，假设交通标志牌在一个三维平面上，该假设符合实际情况。

根据本申请的一个实施例，以下将对上述步骤进行详细描述；

S1、获取交通标志牌的单帧图像，并基于双目视差图提取图像中交通标志牌的轮廓。

S2、连续帧交通标志牌的提取，按照步骤S1的方式提取三维空间中同一个交通标志牌在图像中的轮廓。

S3、在连续帧图像中确定Host帧和Target帧，用于后续优化误差函数，其方法为：从连续帧图像中选择1帧作为Host帧，其余帧作为Target帧，Host帧的选择原则是：交通标志牌轮廓清晰，交通标志牌完整。

S4、基于Target帧构建边缘距离图，用于计算图像中每一个非零点像素与其最近的零点像素之间的距离，输出的是保存每一个非边缘像素点与最近边缘点的距离信息。

S5、计算平面方程初值；基于双目视差，计算Host帧观测到的平面方程，该方程值作为后续优化的处置。

平面方程公式：

Ax+By+Cz+D＝0

公式(1)表示的是三维平面的表达式，其中参数A，B，C，D是描述平面空间特征的系数，也是本实施例要求解的内容，其中，由参数(A，B，C)构成的矢量表示平面的法向。

S6、根据边缘距离图，重投影构建误差函数，其具体包括：

利用Host帧上的边缘点，作射线与平面方程相交，交点构成三维点，该三维点再重投影回Target帧，期望重投影点应该重投影在边缘上，但由于各种误差，投影点的不会恰巧在边缘上，通过S4的距离图，构建出误差函数：

其中，f(A，B，C，D)表示误差函数是参数A，B，C，D的函数，通过调整参数A、B、C、D，当误差函数f达到极小值时，所得的参数A、B、C、D即是目标值；下标i为Target帧的编号，Target共N-1帧；下标j表示投影点的序号，M

S6中平面方程的求解，包括：

S6.1、提取Host帧的交通标志牌边缘；

S6.2、基于S6.1中的边缘点在相机坐标系下作射线；

S6.3、射线与初值平面方程相交，得到空间三维点；

S6.4、将所得三维点通过相机投影到Target帧，得到投影点；

S6.5、改变平面方程得到不同的投影位置；

S6.6、得到三维点的投影与Target帧提取边缘重合。

在S6.3中射线与初值平面方程相交，得到空间三维点，联立平面方程和相机逆投影公式，求出投影点坐标：

其中，(X

在已知像素位置(u，v)和平面方程时，通过像素点做射线与平面方程相交，可得空间交点(X

相机逆投影公式为：

像素位置(u,v)为：

S7、优化求解；通过调整平面方程的值，就能够改变重投影点的位置，在该过程中，通过多次迭代，使得误差函数值最小。当误差函数公式达到最小时，完成优化，对应的参数(A,B,C,D)就是。

S8、三维重建，通过三维平面方程，获得交通标志牌的朝向信息，(A,B,C)构成的矢量，就是平面的发现方向，且将Host帧的边缘点，作射线与三维平面方程相交，就能够得到交通标志牌三维点云图。

相对于现有技术，本发明重建出的交通标志牌具有完整的几何尺寸和朝向信息，且在重建过程中利用了多个位置的图像信息，大大增加了重建视差，从而提高了重建精度；并将交通标志牌假设为一个平面方程，该假设即符合实际情况，且简化重建过程。

虽然结合附图对发明的具体实施方式进行了详细地描述，但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。