基于单目图像序列的直线光流场重建刚体运动和结构

摘要

本文主要研究基于直线光流场从单目图像序列中重建带直线特征的刚体的三维运动和结构的计算理论和方法。 本文提出了一种适合于中心投影模型的直线表示法，该方法以聚类的方式将空间直线用四个参数表示。根据此表示法，将二维直线的两个参数对时间的导数定义成直线光流场。在透视投影模型下，推导出在3D空间中运动的刚体的旋转运动参数与其投影图像上二维直线的光流场之间的关系，并用直线光流方程组表达了这种关系。利用单目图像序列中连续三帧图像中的两条直线的直线光流，通过解这个线性方程组重建带直线特征的三维刚体的旋转运动参数、平移运动参数和空间直线结构。该模型具有所需直线数目少、求解算法多、容易实现的特点。 根据已建立的直线光流场与刚体的运动参数直线的关系，建立了基于扩展卡尔曼滤波器的直线跟踪模型，能在长序列图像中实时稳定地跟踪图像中的直线。基于直线光流方程，本文建立了自适应线性神经网络的刚体运动和结构的计算方法。该方法将直线光流数据转化为网络的输入和输出，经过对网络的训练后，网络的权值和偏差能近似作为待求刚体旋转参数。根据求出的刚体旋转运动参数，进一步求出刚体的平移运动参数和空间直线坐标，从而实现了三维重建。 本文提出了基于直线光流场的重建刚体运动和结构的遗传算法。该算法将运动参数作为遗传算法的个体，将光流场方程作为适应度函数进行遗传进化，将最后的优良个体作为待求运动参数值。在线性神经网络和遗传算法中，只要能够稳定获取和跟踪至少两条图像直线就可以重建刚体的旋转运动、平移运动和相对深度信息。多个仿真图像和真实图像实验表明算法是可行的，具有较好的鲁棒性能和精度。