单视点折反射成像系统的建模、标定与应用

摘要

随着人们对环境的感知和建模这一研究领域的兴趣日益增长,传统相机和摄像机由于其视场有限,越来越不能满足人们的需求。传统相机的受到视场的限制,在相机运动的过程中,相机的姿态决定了能够观察到的物体。具有大视场的成像设备,比如鱼眼镜头和全景镜头等,克服了以上的问题,满足了人们对视场的需求。由于全景相机能够对360°场景同时成像,因此,相机关于对称轴的旋转不会使得场景造成很大的变化。近年来,这些设备被应用到了视频监控、电视电话会议、场景重建、机器人导航以及虚拟现实等方面。全景视觉逐渐成为计算机视觉领域一个重要的研究分支。
　　 在场景重建等应用场合中,需要一套完整的几何模型估计相机的刚体运动。在估计相机自身运动时,图像上的点首先被转化到几何模型中。这时,成像系统中相机的内参和其他相关参数则是转化的前提条件。因此,全景相机的标定成为相机运动轨迹估计等应用的前提。由于全景相机投影过程的非线性特点,针对传统相机的标定算法不适用于全景相机,而现有的全景相机标定方法操作复杂,同时对全景相机的参数估计不是非常稳定。因此,本文针对单视点折反射成像设备,以相机运动估计和场景重建为应用背景,融合已有的模型,设计出新的标定设备,提出了新的标定理论和方法,并以单目相机场景重建的结果验证标定的准确性。
　　 单视点全景折反射成像系统由于其满足单视点约束,比较适合建立数学模型。近年来,研究人员提出了一系列的模型,如一般相机模型、泰勒级数模型、球面统一模型等。本文回顾了近年来提出的几种主要模型,重点针对球面统一模型,深入讨论了点和直线在图像上的性质,并提出了一些标定和估计相机运动轨迹的方法。
　　 在球面统一模型中,点到图像平面的投影被划分为若干个步骤。其中球面到图像平面的投影是与传统相机的透视投影相同的线性过程,研究人员为了方便分析将这一线性过程划分为若干个子过程,即投影到若干个平面的中间过程。本文融合了直线在无穷远平面、度量平面和图像平面上的投影的过程,在此基础上,研究了一条直线和一组直线的在三个平面上的投影性质,进而研究了平行线和共点线的投影性质。
　　 在确定了几何模型之后,相机标定具备了研究基础。标定的准确与否影响到摄像机本身的运动轨迹与环境的感知的成功与否。当镜面参数已知,特别当镜面是抛物面镜时,标定的过程相对比较容易收敛;当镜面参数未知时,则需要同时估计镜面的参数和摄像机的内参,这使得标定的过程变得比较困难和不稳定。本文利用平行线在全景图像上的性质,在镜面参数已知的前提下,提出了一种单图标定方法。而在镜面参数未知的情况下,提出了一种新的共点线标定模板,将共点约束引入到曲线拟合的过程中,提高了拟合的鲁棒性,使得点和直线的投影的非线性问题能够分解成为若干个线性子问题,同时估计出相机内参和镜面参数。
　　 针对单目传统相机的场景和运动同时重建,有一套完整的几何理论作为研究基础,即对极几何。然而,单视点折反射成像系统的非线性特点,传统相机的对极几何约束不适用于全景折反射成像系统。本文将传统的计算基本矩阵的八点法从二维的图像平面拓展到单视点的三维多面体的情况,使得八点法能够应用到多面体投影。然后,将球面投影转化为立方体投影,即满足单一视点的多个传统相机的投影模型,从全景图像序列中同时重建场景和相机的运动轨迹。为了提高重建的鲁棒性,本文将图像序列划分为若干段,初始化相机运动轨迹和三维场景,使用光束法平差局部优化初始值。当新的图像帧读入一定数量后,利用已有的场景和运动轨迹,迭代估计新的窗口内的运动轨迹,而后更新三维场景。本文提出的方法,使用针对传统相机的线性方法,如8点法和三角化,成功地解决了非线性的折反射成像系统的运动和场景重建问题。