基于畸变直线斜率计算的鱼眼图像校正方法

摘要

本发明属于数字图像处理领域，具体为一种基于畸变直线斜率计算的鱼眼图像校正方法。本发明利用径向畸变特有的几何性质，根据投影不变性原理，计算畸变直线的实际斜率，并以此为基础，通过求解线性方程组以获得多项式校正模型的参数值。这种校正方法在拥有理想校正精度的情况下显著地降低了计算复杂度。根据求解得到的校正模型，利用游程编码查找表（LUT）完成畸变图像与校正图像之间的位置映射编码，从而实现对校正图像的加权双线性插值。此方法便于硬件实现，并具有高效的实时处理能力。

说明书

技术领域

本发明属于数字图像处理中的图像修复技术领域，具体为一种具有径向畸变的鱼眼图像的校正方法。

背景技术

为了获得更大的视角，鱼眼镜头被广泛运用于机器人导航、大范围视频监控、智能交通系统等众多计算机视觉领域。然而，鱼眼镜头在获得大范围拍摄视角的同时，不可避免地引入了图像的畸变，以解决在有限像面内容纳广角目标物体的问题。鱼眼图像所涉及的畸变类型主要是径向畸变（桶形畸变），这是由于鱼眼镜头的光学系统建立了目标视角到二维成像面的有限投影关系而造成的。

对于具有径向畸变的鱼眼图像的校正，已有许多文献提出了不同的解决方法。其中主要可分为基于鱼眼镜头标定的校准方法^[1-3]和基于投影变换理论的校正方法^[4-8]这两种。

采用基于鱼眼镜头标定的校准方法主要是通过鱼眼镜头与校准模板图像的空间坐标标定以及拍摄位置的校准得到鱼眼镜头的内外部参数，并基于这些镜头参数解出校正模型，完成对畸变图像的复原。然而，此类方法涉及到真实世界坐标空间，鱼眼镜头坐标系以及平面成像坐标系之间的坐标转换，对于校准设备的精度要求较高。同时，设备成本与时间成本也降低了此类方法的灵活性。

对于基于投影变换理论的校正方法而言，又可分为空间投影法与平面投影法两类。文献[4]是一种典型的空间投影校正方法。该方法根据空间直线在理想半球面上的投影为一圆心与球心重合的圆弧这一投影关系，通过拟合这一圆弧的方式来完成校正模型参数的迭代求解。此方法模型复杂，计算繁琐，且存在半球面到成像面的全映射问题。文献[5-7]均为平面投影校正方法，基于空间直线在针孔相机的投影模型下亦为平面直线的原理，采用数学模型，通过迭代优化目标函数的方法得出校正模型的参数，从而完成对畸变图像的复原。为了简化迭代算法的复杂度，文献[8]提出了一种基于数学代数的求解方案，在保证校正精度的情况下，通过1次迭代优化即可得到相应的校正参数。该方法虽然在一定程度上降低了计算的复杂度，然而依旧是基于目标函数优化的一种解决方案，计算复杂度仍然偏高。

由此，使用一种快速、高效的鱼眼图像校正算法来求解校正模型，并基于此构建具有实时处理能力的硬件架构以实现畸变视频数据流的实时校正处理是该领域当前的一个研究热点。

参考文献：

［1］       Flemmer C L，Flemmer R C. A Simple and Accurate Method for Lens Calibration［C］//Proc of the 4th International Conference on Autonomous Robots and Agents. Wellington: [s.n.], 2009: 257-260.

［2］       Liu Liqun, Cao Zuoliang. Fisheye Camera Calibration with Two Pairs of Vanishing Points［C］// Proc of the 2009 IEEE International Conference on Information Technology and Computer Science. Kiev: [s.n.], 2009: 321-324.

［3］       Wang Xiaofeng, Feng weijia, Liu Qingjie, et al. Calibration Research on Fish-eye lens［C］// Proc of the IEEE International Conference on Information and Automation. San Harbin: [s.n.], 2010: 385-390.

［4］       英向华，胡占义．一种基于球面透视投影约束的鱼眼镜头校正方法［J］．计算机学报，2003，26(12)：1702-1708．

［5］       Prescott B, Mclean G F. Line-Based Correction of Radial Lens Distortion［J］．Graphical Models and Image Processing, 1997, 59(1): 39-47.

［6］       Devernay F, Faugeras O. Straight lines have to be straight［J］．Machine Vision and Applications, 2001, 13(1): 14-24.

［7］       Song Gwang-Yul, Lee Joon-Woong. Correction of Radial Distortion Based on Line- Fitting［J］．International Journal of Control, Automation and Systems, 2010, 8(3): 615- 621.

［8］       Alvarez L, G?mez L, Sendra R J. An Algebraic Approach to Lens Distortion by Line Rectification［J］．Journal of Mathematical Imaging and Vision, 2009, 35(1): 36-50.

［9］       Hughes C, Jones E, Glavin M, et al. Validation of Polynomial-based Equidistance Fish-Eye Models［C］// IET Irish Signals and Systems Conference. Dublin, Irish: [s.n.], 2009: 321-324。

发明内容

本发明的目的在于提供一种针对径向畸变鱼眼图像的高效校正方法，并在此基础上提供一种便于硬件实现的解决方案。

针对引入径向畸变（桶形畸变）的鱼眼图像而言，平面投影校正方法方便、实用。然而传统的平面投影校正方法计算复杂，不够高效。本发明充分考虑了径向畸变的几何特性，根据几何性质直接从具有畸变直线的鱼眼图像中求解这些畸变直线的斜率。通过所求得的斜率值，使用校正模型构建基于斜率的线性方程组以求解校正模型中的参数值。整个过程只涉及简单的斜率计算以及一个线性方程组的求解。基于解得的校正模型，完成畸变图像与校正图像之间的位置映射关系到游程编码查找表的写入。通过遍历查找表中的内容，并采用镜像操作即可完成校正图像的实时插值。本发明方法的具体步骤如下：

.步骤1，提取出畸变图像中的畸变直线，如图1所示。通过像素灰度阈值和像素距离差阈值判断选取采样点集的可靠性。

步骤2，对于每条畸变直线，通过选取到畸变中心距离相等的点对计算各畸变直线的斜率K。

为了使选取点的误差尽可能小，选取采样点只有在满足如下两个条件时，才被视为可靠点对：

条件1：每个采样点的灰度值为周围8领域像素内的最小值，且小于像素灰度阈值。

条件2：采样点对到畸变中心的距离之差小于像素距离差阈值。

本发明通过选取多组可靠点对进一步降低畸变直线斜率计算的误差，计算公式如下：

                              (1)

其中，和分别表示畸变直线L的实际斜率与计算斜率；与表示理想采样点对的坐标位置；与表示采样误差。由于取样误差的各向同性分布，故而当选取点对的数目N增大时，取点误差对于斜率计算的影响比例下降，计算斜率与实际斜率的值更接近。

步骤3，根据解得的各条畸变直线的实际斜率，计算校正模型的各项参数值。其中，畸变像素点与校正像素点的坐标位置映射关系可表示如下^[8]：

                                       (2)

式中，与分别表示畸变像素点和与之对应的校正像素点的坐标位置；与分别为畸变像素点和与之对应的校正像素点到畸变中心的径向距离；是校正函数。建立了从畸变像素点到校正像素点的位置映射关系。

由上式表明，校正像素点的位置可由采样所得的畸变像素点坐标以及待解的校正参数所表示。由此，基于解得的畸变直线斜率，求解如下线性方程组即可获得校正模型参数值：

                                              (3)

式中，与为上述求得的两条畸变直线的斜率；与分别表示畸变直线L₁上的像素点与所对应的校正像素点与的坐标位置；与分别表示畸变直线L₂上的像素点与所对应的校正像素点与的坐标位置，如图2所示。

步骤4，根据解出的校正模型构建校正图像到畸变图像的像素位置映射表，并以查找表的方式存储。考虑到即便像素点位置偏移的渐变性以及径向畸变的各项同性，本发明使用游程编码的方式，其中，查找表的高位存放游程长度，低位存放本像素与前一像素之间位置偏移量。

利用各项同性的镜像原理，仅使用1/4帧图像像素的位置映射信息来构建查找表（LUT）。即基于径向畸变各项同性的考虑，仅存取1/4帧校正图像与畸变图像之间的位置映射关系，就可通过镜像操作完成整幅图像的加权双线性插值。

LUT的每个单元存放16位数据。高4位是具有相同位移矢量的像素个数（游程长度），低12位分别表示图像高度与宽度两个方向上的位移矢量。其中，位移矢量表示了当前校正像素点所对应的畸变像素点的坐标位置与前一个校正像素点所对应的畸变像素点的坐标位置之间的位移关系。LUT单元的具体结构见图3所示。

为了缩小硬件实现的面积，本发明在最大程度上减少了查找表的大小。利用镜像操作，即可通过1/4帧校正图像与畸变图像之间的位置映射关系对整幅图像进行差值。具体而言，可将一帧图像分为四个区块，表示为B₁、B₂、B₃和B₄。

对于B₁块而言，直接通过存放1/4帧图像像素位置映射信息的查找表来搜索与校正像素点所对应的畸变像素点的坐标位置，无需建立映射关系。

对于B₂块而言，在W方向上建立镜像操作，利用存放1/4帧图像像素位置映射信息的查找表，仅通过改变W方向位移矢量的符号位来搜索与校正像素点所对应的畸变像素点的坐标位置。

对于B₃块而言，在H方向上建立镜像操作，利用存放1/4帧图像像素位置映射信息的查找表，仅通过改变H方向位移矢量的符号位来搜索与校正像素点所对应的畸变像素点的坐标位置。

对于B₄块而言，在W方向和H方向上分别建立镜像操作，利用存放1/4帧图像像素位置映射信息的查找表，通过同时改变W方向和H方向位移矢量的符号位来搜索与校正像素点所对应的畸变像素点的坐标位置。

整个查找表的结构与镜像关系如图4所示。

最后，遍历查找表4次，利用基于像素面积的加权双线性插值方法完成整幅校正图像的插值工作。

附图说明

图1   鱼眼图像中的畸变直线示意图。

图2   畸变像素点与校正像素点的映射关系示意图。

图3   LUT内部单元结构。

图4   LUT镜像映射原理图。

图5   畸变图像校正算法流程图。

图6   畸变直线的提取与采样点对的选取示意图。

图7   LUT游程编码方式示意图。

图8   4次遍历LUT的插值过程示意图。

图9   校正算法的直观评价图。

具体实施方式

下面结合附图对本发明的具体实施方案做进一步的描述。

图5所示为本发明中校正算法的具体流程图。

首先，对于具有径向畸变的鱼眼图像，通过边界检测提取出畸变直线的轮廓，并从中选取两条跨度较大的畸变直线作为校正的模板图像。

其次，在两条畸变直线上各取4组点对，如图6所示。取点时，保证每个样点的灰度阈值为周围8邻域内最小，且小于40（采用8位灰度等级）；同时，还需保证每对采样点到畸变中心的距离差小于0.3个像素宽度。具体操作步骤如下：

1）在畸变直线L₁的一侧选取样点，点的灰度阈值为周围8邻域内最小，且小于40（采用8位灰度等级）。

2）在该畸变直线的另一侧搜寻样点，使得与到畸变中心的距离之差最小，且小于0.3个像素宽度。同时，样点必须满足步骤1)中的灰度阈值条件。若搜寻不到满足条件的样点，则返回步骤1)，重新选取样点。

3）重复步骤1)与步骤2)，直到完成4组采样点对的选取。

4）对于畸变直线L₂使用相同方式选取4组采样点对。

接着，针对每条畸变直线上的4组可靠点对，通过下式计算出两条畸变直线各自的实际斜率。

                                               (4)

式中，与组表示第组点对的坐标位置，表示畸变直线的实际斜率。

随后，根据两条畸变直线的斜率与构造一个二维线性方程组求解校正模型的临时参数和，求解过程如发明内容中的式(4)所示，此处不再赘述。为了避免平凡解的产生，在此将参数初始化为1，并利用下式^[8]计算得到的缩放因子Z乘以各临时参数值以得到最终的校正参数、和的值。

                              (5)

式中，L与N分别代表畸变直线的数目与每条直线上的取点数目；、和为临时校正参数；为畸变直线上的第个采样点。

再次，遍历1/4帧校正图像的各像素点，根据解得的校正模型计算出每个校正像素点所对应的畸变像素点在鱼眼图像中的坐标位置以及相互之间的偏移矢量。对于具有相同偏移矢量的连续像素点，使用游程编码的方式存入查找表（LUT）中，如图7所示。

最后，采用镜像操作，通过4次遍历查找表（LUT）以完成整幅校正图像的加权双线性插值工作，得到校正后的复原图像，如图8所示。由于校正像素点的位置坐标映射到所对应的畸变像素点位置时，未必精确落于整像素点上。因此，在插值过程中，根据LUT中小数部分的偏移量决定周边4个像素点所占的插值比重。

本发明提出的校正算法具有如下优势：

其一，该校正算法仅需通过简单的斜率计算和一个二维线性方程组的求解即可得到校正模型的参数值，相比基于直线拟合的算法而言，运算复杂度降低显著。

其二，本算法的校正误差值小，对于各种径向畸变类型的鱼眼图像都有理想的校正效果，如图9所示。本算法尤其提高了图像的整体校正质量，不会因为一味追求直线的线性拟合度而产生明显的边缘校正不足情况。

其三，采用1/4帧游程编码查找表存放校正图像像素位置到畸变图像像素位置的映射关系在最大程度上减少了存储容量的开支，对于硬件实现而言，这种方法可有效减少芯片的面积，同时满足视频数据流的实时处理。