法律状态公告日
法律状态信息
法律状态
2018-03-09
授权
授权
2016-07-13
实质审查的生效 IPC(主分类):G06T5/50 申请日:20160224
实质审查的生效
2016-06-15
公开
公开
技术领域
本发明涉及图像拼接技术领域，特别是一种鱼眼镜头全景图像拼接方法。
背景技术
目前的鱼眼图像的实时拼接技术非常少且单一，一般鱼眼图像的全景图像的实时 拼接分两步，首先求出全景图像与各镜头单元图像的参数映射表，然后在线的调用参数映 射表对镜头单元图像实时一帧一帧的进行全景图像拼接。最关键的就是第一步，目前解决 方案主要有两种：
第一种是把鱼眼图像的径向畸变校正参数和图像元(即单元镜头)的位姿参数作 为一体，整体用最优化技术进行参数估计。镜头畸变参数校正最常用的技术是多项式拟合， 单元镜头的位姿估计参数是3x3维矩阵，9个参数，这两部分的参数的关系是复合函数，通常 用RANSAC或遗传算法、免疫算法、蚁群算法等迭代优化技术求解，这种复合最优化技术对参 数的初始值依赖性很强，而且彼此的干扰性也很强，很难达到全局最优，甚至局部最优也无 法找到，即使找到的局部最优解，这种比较差的局部最优解也使图像拼接误差增大，因此全 景图像重叠区域中的重影、错位问题，边缘区域变形严重、模糊及图像区域空白等问题都比 较严重。
第二种是用一个常规镜头的投影变换和多项式畸变校正技术用校正模板图像对 镜头畸变参数进行畸变校正，生成一组中间校正后的2D图像，然后用2D图像配准技术对校 正后的图像元进行2D配准。该方案在最后的一个拼接重叠区域会把误差放大，导致全景球 面图像和等柱面全景图像中会有一个拼接误差严重的区域，在该区域重影、错位问题，边缘 区域变形严重、模糊及图像区域空白等问题比较严重。
综上，现有技术鱼眼镜头图像拼接技术拼接出来的全景图像拼接误差比较大，如 在拼接重叠区域中重影、错位严重，在图像的边缘区域变形严重，甚至在全景等柱面展开图 的上下边缘中存在一定面积的空白区域。
发明内容
本发明的目的是提供一种鱼眼镜头全景图像拼接方法，以改进提高鱼眼全景图像 拼接重叠区域中的拼接误差，进而解决全景拼接图像重叠区域中的重影错位问题，边缘区 域变形严重、模糊及图像区域空白等问题。
为了解决上述技术问题，本发明提供一种鱼眼镜头全景图像拼接方法，包括：
步骤一、通过多项式拟合模型将多个鱼眼镜头拍摄的单元图像分别映射到三维球 面上，并计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合模型；
步骤二、将待配准的多个所述单元图像中的每幅图像重叠区域中的匹配特征点通 过确定后的所述多项式拟合模型分别映射到三维单位球面上，在三维单位球面上对多个所 述单元图像进行计算求出对应镜头成像的配准模型，根据所述配准模型在三维球面上将多 个所述单元图像配准形成球面全景图像；
步骤三、把所述球面全景图像按等柱面方式展开成柱面全景图像，对所述柱面全 景图像进行处理，建立所述柱面全景图像中每个像素点与多个鱼眼镜头拍摄的单元图像中 的每个像素点的对应位置关系的参数映射表；
步骤四、读取多个鱼眼镜头拍摄的鱼眼图像，调用所述参数映射表将多个鱼眼镜 头拍摄的鱼眼图像融合成全景图像。
步骤一中计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合 模型，具体为：
取空间同一条直线映射到鱼眼镜头的元图像上的直线上的至少三个点，然后用所 述多项式拟合模型求出所述至少三个点到三维单位球面上的映射点，再把所有映射点在三 维单位球面拟合成一个大圆，求出各个映射点到拟合的大圆的球面距离，求出他们的平方 和；用同种方法取空间中多条直线计算，所取的多条直线在鱼眼图像中分布均匀，如果分布 不均可以多拍几张弥补。建立以下函数：Dist＝S1+…+SNn；其中S1＝d1^2+d2^2+…+dn1^ 2，…，SNn＝dN1^2+dN2^2+…+dNn^2；以函数Dist最小值为目标，求出所述多项式拟合模型 的系数参数。
在三维单位球面上对多个所述单元图像进行计算求出对应镜头成像的配准模型， 根据所述配准模型在三维球面上将多个所述单元图像配准形成球面全景图像，具体为：
设多个鱼眼镜头的单元图像重叠区域中匹配的特征点为(x，y)，则通过确定后的 所述多项式拟合模型映射到三维单位球面上的点的四元坐标为[x，y，z，1]；以多个鱼眼镜 头中的一个鱼眼镜头为参考镜头，用特征点对求解另外的鱼眼镜头相对于参考镜头的配准 模型：
[X，Y，Z，H]’＝Modle*[x，y，z，1]’，其中，
所述步骤三具体为：对所述柱面全景图像进行重采样处理，将采样点通过柱面展 开图和球面全景图像的变换关系求得在参考球面上的位置，再通过配准模型的逆模型求得 到原来镜头影射的单位球面的位置，再由鱼眼图像到单位球面的所述多项式拟合模型反求 出在鱼眼图像中的位置，从而建立所述柱面全景图像中每个像素点与多个鱼眼镜头拍摄的 单元图像中的每个像素点的对应位置关系的参数映射表。
该发明从原理上说，通过鱼眼图像的球面映射校正模型能够有效校正鱼眼图像产 生的径向畸变，使其映射到自己所在单位球面上的映射的相对位置得到校正，边缘区域的 变形得到有效的校正；通过在单位球面上的配准，使得球面上的绝对位置得到有效的配准， 两步分开进行也消除了彼此参数间的耦合影响。因此使得重合区域中匹配的图像点间的拼 接误差大幅度减小，因此使得全景图像中由匹配点间的拼接误差引起的重影、错位、模糊等 问题也相应得到了解决。只要鱼眼镜头的分布都能满足在单位球面的任意位置都至少是一 个鱼眼镜头的成像区域，从原理上说全景图像中就不可能存在空白图像区域。
本发明的有益效果是：根据本发明产生的参数映射表拼接出来的全景图像效果 好，全景图像中完全没有空白图像区域，重叠区域图像误差小，使得该区域重影、错位问题 以及边缘区域变形严重、模糊及图像区域空白等问题肉眼几乎分辨不出来。
附图说明
图1是本发明中二维平面图像到三维球面图像的映射模型示意图；
图2是本发明实施例中单元鱼眼镜头的分布示意图；
图3是本发明实施例中单元鱼眼镜头的一个特殊分布示意图；
图4是本发明实施例中鱼眼图像到单位球面映射流程图；
图5是本发明实施例中全景图像参数映射表建立流程图；
图6是本发明实施例中全景图像拼接融合流程图。
具体实施方式
下面结合附图和实施方式对本发明作进一步的说明。
本发明提供一种鱼眼镜头全景图像拼接方法，包括：
步骤一、通过多项式拟合模型将多个鱼眼镜头拍摄的单元图像分别映射到三维球 面上，并计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合模型；
步骤二、将待配准的多个所述单元图像中的每幅图像重叠区域中的匹配特征点通 过确定后的所述多项式拟合模型分别映射到三维单位球面上，在三维单位球面上对多个所 述单元图像进行计算求出对应镜头成像的配准模型，根据所述配准模型在三维球面上将多 个所述单元图像配准形成球面全景图像；
步骤三、把所述球面全景图像按等柱面方式展开成柱面全景图像，对所述柱面全 景图像进行处理，建立所述柱面全景图像中每个像素点与多个鱼眼镜头拍摄的单元图像中 的每个像素点的对应位置关系的参数映射表；
步骤四、读取多个鱼眼镜头拍摄的鱼眼图像，调用所述参数映射表将多个鱼眼镜 头拍摄的鱼眼图像融合成全景图像。
步骤一中计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合 模型，具体为：
取空间同一条直线映射到鱼眼镜头的单元图像上的直线上的至少三个点，然后用 所述多项式拟合模型求出所述至少三个点到三维单位球面上的映射点，再把所有映射点在 三维单位球面拟合成一个大圆，求出各个映射点到拟合的大圆的球面距离，求出他们的平 方和；用同种方法取空间中多条直线计算，所取的多条直线在鱼眼图像中分布均匀，如果分 布不均可以多拍几张弥补。建立以下函数：Dist＝S1+…+SNn；其中S1＝d1^2+d2^2+…+dn1^ 2，…，SNn＝dN1^2+dN2^2+…+dNn^2；以函数Dist最小值为目标，求出所述多项式拟合模型 的系数参数。
在三维单位球面上对多个所述单元图像进行计算求出对应镜头成像的配准模型， 根据所述配准模型在三维球面上将多个所述单元图像配准形成球面全景图像，具体为：
设多个鱼眼镜头的单元图像重叠区域中匹配的特征点为(x，y)，则通过确定后的 所述多项式拟合模型映射到三维单位球面上的点的四元坐标为[x，y，z，1]。以多个鱼眼镜 头中的一个鱼眼镜头为参考镜头，用特征点对求解另外的鱼眼镜头相对于参考镜头的配准 模型：
[X，Y，Z，H]’＝Modle*[x，y，z，1]’，其中，
所述步骤三具体为：对所述柱面全景图像进行重采样处理，将采样点通过柱面展 开图像和球面全景图像的变换关系求得在参考球面上的位置，再通过配准模型的逆模型求 得到原来镜头影射的单位球面的位置，再由鱼眼图像到单位球面的所述多项式拟合模型反 求出在鱼眼图像中的位置，从而建立所述柱面全景图像中每个像素点与多个鱼眼镜头拍摄 的单元图像中的每个像素点的对应位置关系的参数映射表。
本发明采用不同于传统的技术求出全景图像与各镜头图像的参数映射表，分四 步，首先，建立一个多项式拟合模型把鱼眼平面图像映射到三维球面上，识别出模型参数； 其次，把单元图像(指待配准的鱼眼图像组中的每幅图像)的特征点(指重叠区域中已匹配 好的特征点)通过多项式拟合模型映射到三维单位球面上，在三维单位球面上对鱼眼图像 进行配准求出各镜头成像的配准模型；根据配准模型配准出球面全景图；然后，把球面全景 图按等柱面方式展开成柱面全景图；最后，通过上面的步骤产生全景图像与各镜头图像的 参数映射表。
本发明包括三个步骤，第一是二维图像到三维图像的映射多项式拟合模型(简称 映射模型或模型)的建立与该模型参数的辨识；该模型涉及两个输入参数：径向参数R，极角 参数Theta1；两个输出参数，纬线角参数Arerfa，经线角参数Theta2，其中，极角参数Theta1 是经线角参数Theta2在赤道大圆上的映射投影，彼此的值时时处处相等，不用变换；径向参 数r与纬线角参数Arerfa采用多项式拟合模型，即：
Arerfa＝a0+a1*R+a2*R^2+a3*R^3+a4*R^4+...+an*R^n，为了减少参数可以用奇 次相多项式，
(Arerfa＝a0+a1*R+a2*R^3+a3*R^5+a4*R^7+...+an*R^(2*(n-1)+1))或偶次相多 项式(Arerfa＝a0+(a1*R+a2*R^3+a3*R^5+a4*R^7+…+an*R^(2*(n-1)+1))*R)模型替代。
二维图像到三维球面图像的映射模型如图1所示。图中，Theta1＝a1，Theta2＝a2； Arerfa＝90度-a3；a1、a2的取值范围为[0，360度]，a3的取值范围为[0，180度]。P0为平面图 像上的点，P为P0在单位球面上的投影。r为P0到单位元图像中心的距离。模型包括两个方程 的方程组：Theta2＝Theta1，Arerfa＝a0+a1*R+a2*R^2+a3*R^3+a4*R^4+…+an*R^n
则在三维空间单位球面上的点的坐标为：(cosTheta2*cosArerfa，sinTheta2* cosArerfa，sinArerfa)
第二是该映射模型参数的辨识方法：取空间同一条直线(这条直线在鱼眼图像中 的映射像素数量大于一定的阈值就可以)映射到鱼眼图像上的点取大于3个点，然后用上面 的多项式模型求出到三维单位球面上的映射点，再然后把这些映射点在单位球面(三维单 位球面上，因为球面上的坐标点向量模为1，所以叫单位球面)拟合一个大圆，求出映射点到 拟合的大圆的球面距离d，求出他们的平方和S；用同种方法取空间中多条直线计算；建立以 下函数：S1＝d1^2+d2^2+…+dn1^2…SNn＝dN1^2+dN2^2+...+dNn^2；Dist＝S1+…+SNn；以 函数Dist最小值为目标，用最优化的方法求出上面的映射模型参数(指的就是a0、a1…an， 用的就是目标优化技术，可以是遗传算法等迭代目标优化技术求出多项式系数，试验表明 效果也都差不多)。其中只要求所用的直线组在鱼眼镜头拍摄的图像中的分布应该在图像 中从圆心到边缘都有，可以变换角度多拍几张弥补直线分布的不均匀。
第三是把鱼眼图像重叠区域中的特征点位置用上面辨识出来的模型映射到三维 单位球面，则三维球面上点的坐标为[x，y，z，1]，以多个鱼眼镜头中的一个鱼眼镜头为参考 镜头，用特征点对求解另外的鱼眼镜头相对于参考镜头的配准模型：
[X，Y，Z，H]’＝Modle*[x，y，z，1]’(指两个镜头所拍摄的两幅图像间的投影变换模 型)。
其中Modle是16个自由度的矩阵。该配准模型演化出以下三个方程：
本发明实现的流程图包括三步：第一步，鱼眼图像到三维单位球面的映射，如图4 所示；第二步，计算生成全景图像和鱼眼单元图像的参数映射表，如图5所示；第三步，根据 参数映射表实时拼接融合全景帧图像序列。前两步属于离线操作，在PC机上实现，一套全景 设备只需操作一次，结果写入全景设备的存储器件；最后一步属于在线操作，在全景设备中 实时处理。可以看出，耗时的算法都是离线进行的，需要实时处理的算法简单，运算量小；既 能满足高性能的要求又能节省时间实时处理。最重要的是该算法方案把鱼眼图像的畸变矫 正和位姿估计合理的解耦，并且都是在3D单位球面上做，使得在图像重叠区域的拼接误差 数量级的减小，肉眼几乎无能分辨。
具体实施例：
为了完全避免全景图像中无空白区域，镜头元的分布必须满足一定的条件。对于 视角为180度的镜头组选用3个镜头(A1、A2、A3)；3个镜头应该尽可能的在所在的球面上均 匀分布，即以过球心的任意一条直径作为极轴，每个点所在的经线和球心所共同确定的平 面两两之间的两面角都为120度；如果球面上的任意一点的坐标记为(Theta2，Arerfa)，则 其中一种特殊分布：A1(90度，0度)、A2(210度，60度)、A3(330度，-60度)，如图2所示。事实上 为了美观和生产方便，只要满足通常意义下每个点所在的经线两两之间的夹角都为120度， 纬线上一个为0度，一个偏上，另一个偏下，如图3所示。对于视角大于180度的镜头组选用两 个镜头，镜头背对背分布(即两个镜头连线过圆心)即可(图未示)。
第一步，按图4所示的流程图步骤求解出三个鱼眼镜头的鱼眼图像到各自的单位 球面上的映射模型参数。首先，假设所选的模型是4阶偶次多项式模型，即：Arerfa＝a0+ (a1*R+a2*R^3+a3*R^5)*R和Theta2＝Theta1。用N1条空间直线在鱼眼图像上的弧线上以一 定的间距采样取得N1组特征点，把这些特征点按这个鱼眼镜头的图像到单位球面的投影模 型投影到各自的单位球面上；再然后用这些映射点在单位球面上拟合N1条大圆弧；接着求 出每个特征点到各自拟合的大圆上的球面距离d1i；再求出这些球面距离的平方和s1；最后 以s1取得最小值为目标用遗传算法求出a10、a11、a12、a13；同理，求出另两a20、a21、a22、 a23，a30、a31、a32、a33；保存这三组系数。
第二步，按图5所示的流程图步骤求出全景柱面展开图的像素点和3个鱼眼镜头图 像位置的一一映射的参数映射表。首先，假设以镜头1作为全景设备的主镜头。把三个镜头 各一幅图像中n(大于等于5的不共面)对匹配的特征点用各自的单位球面上的映射模型参 数映射到各自的单位球面上；然后，用三个镜头的三幅图像的单位球面上的匹配点对用配 准模型[X，Y，Z，H]’＝Modle*[x，y，z，1]’配准矩阵Modle21和Modle31，分别为镜头二、镜头 三的单位球面图像映射到镜头一的单位球面图像的映射模型矩阵。用最小二乘算法求解该 模型变换矩阵。再用矩阵求逆的方式求出Modle12、和Modle13，分别是Modle21和Modle31的 逆模型。接着，对全景柱面展开图进行重采样，用Modle12、和Modle13求出采样点到三个镜 头的单位球面图像上的映射点；再接着用三个鱼眼镜头的鱼眼图像到各自的单位球面上的 映射模型(即多项式模型)反求出到各个鱼眼图像点的映射位置。到此即求出全景柱面图像 的参数映射表，保存。
第三步，按图6所示的流程图步骤求出每帧全景柱面展开图。
以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方 式进行了阐述。以上实施例的说明只是用于帮助理解本发明的核心思想；同时，对于本领域 的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上 所述，本说明书内容不应理解为对本发明的限制。
机译： 将通过鱼眼镜头拍摄的图像拼接在一起以产生360度球形全景的方法
机译： 通过鱼眼镜头将图像拼接在一起以产生360度球面全景的方法
机译： 通过鱼眼镜头将图像拼接在一起以产生360度球面全景的方法
