首页> 中国专利> 一种基于平行光轴结构摄像机的无穷远图像对齐方法

一种基于平行光轴结构摄像机的无穷远图像对齐方法

摘要

本发明公开了一种基于平行光轴结构摄像机的无穷远图像对齐方法,包括如下步骤,S1设定垂直于摄像机光轴方向的平面,从该平面上均匀选取匹配点,S2利用匹配点,求解描述基于该平面关系的单应矩阵,S3利用单应矩阵和双线性插值算法,求解基于该平面对齐的坐标映射表,S4设置一个垂直于摄像机光轴方向的等效无穷远的平面,计算无穷远平面上对应点的视差,平移坐标映射表,转换为基于无穷远平面对齐的坐标映射表。本发明的优势在于不需要通过摄像机的标定获得摄像机的内参矩阵和旋转矩阵,就能实现两张图像的公共区域在无穷远平面的对齐。

著录项

  • 公开/公告号CN103632334A

    专利类型发明专利

  • 公开/公告日2014-03-12

    原文格式PDF

  • 申请/专利权人 华南理工大学;

    申请/专利号CN201310567434.5

  • 发明设计人 杜娟;胡池;冯颖;胡跃明;

    申请日2013-11-13

  • 分类号G06T1/00(20060101);

  • 代理机构44245 广州市华学知识产权代理有限公司;

  • 代理人蔡茂略

  • 地址 511458 广东省广州市南沙区环市大道南路25号华工大广州产研院

  • 入库时间 2024-02-19 23:10:49

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2017-02-08

    授权

    授权

  • 2014-04-09

    实质审查的生效 IPC(主分类):G06T1/00 申请日:20131113

    实质审查的生效

  • 2014-03-12

    公开

    公开

说明书

技术领域

本发明涉及图像配准领域,具体涉及一种基于平行光轴结构摄像机的无穷 远图像对齐方法。

背景技术

图像配准是图像合成中的关键步骤,现阶段的配准方法主要有直接配准和 分部配准。其中分部配准的方法通常是首先进行极线矫正(或投影矫正),将两 幅图像的对应点坐标矫正到同一水平线上,从而降低搜索维度,有些文献将满 足这一关系图像对称作满足扫描线特性,然后在再采用一维方向上的搜索策略, 完成对应点间的匹配。

极线矫正可以使用投影变换的方法进行,对两张图像分别进行投影变换, 或者仅对一张图像进行。投影变换的常用工具是单应矩阵(简称H矩阵),因此 计算单应矩阵的方法将是重要步骤。

无穷远图像对齐针对的是H矩阵的计算,多几何视觉中,H描述的是两个 视角关于无穷远平面的映射关系。有如下公式描述:

H=limHd=KRK-1

如图2所示,其中K′和K分别是第一视角1和第二视角2的内参矩阵,R是 第一视角1到第二视角2的旋转矩阵。因此,需要首先对第一视角1和第二视 角2的摄像机进行标定,分别计算其内参矩阵,然后再计算两台摄像机之间的 旋转矩阵,这种方法计算步骤较为繁琐,由于步骤多,使得精度往往难以保证。

另外,可以通过DLT直接线性变换算法计算H。由于无穷远平面需要距离 摄像机较远,则难以找到分布均匀且足够数量的匹配点,同时匹配点坐标的精 度也难以保证。

发明内容

为了克服现有技术存在的缺点与不足,本发明提供一种基于平行光轴结构 摄像机的无穷远图像对齐方法。

本发明提供一种计算等效H的方法,用于实现无穷远平面的图像对齐。

本发明采用如下技术方案:

一种基于平行光轴结构摄像机的无穷远图像对齐方法,包括如下步骤:

S1设定一个垂直于摄像机光轴方向的平面,然后从该平面上均匀选取匹配 点;

S2利用匹配点,求解描述基于该平面关系的单应矩阵;

S3利用单应矩阵和双线性插值算法,求解基于该平面对齐的坐标映射表;

S4设置一个垂直于摄像机光轴方向的等效无穷远平面,利用投影变换、计 算无穷远平面上对应点的视差,平移S3得到的坐标映射表,然后得到无穷远平 面对齐的坐标映射表。

所述步骤S1包括如下步骤:

S1.1设置两台具有平行光轴,且并排放置的摄像机;

S1.2设定垂直于摄像机光轴方向的平面,并在该平面上张贴棋盘格纸;

S1.3以棋盘格的角点作为特征点,两台摄像机获取图像,分别记为左图和 右图,然后从左图和右图中均匀选取匹配点,所述匹配点对数为至少4对。

所述步骤S2包括如下步骤:

S2.1对匹配点进行归一化处理,将匹配点坐标对记作Pl和Pr,对应的归一 化后的坐标记作和其中Pl表示左图匹配点的坐标,Pr表示右图匹配点的 坐标;

S2.2利用通过整理得到Ah=0的齐次方程形式;

S2.3将S2.1得到的归一化坐标代入S2.2得到的系数矩阵A,通过SVD分 解,得到h矩阵的近似解;

S2.4通过反归一化处理,求解描述Pl和Pr映射关系的H矩阵。

所述步骤S3具体包括如下步骤:

S3.1根据右图或左图图像大小,建立离散坐标映射表;

S3.2利用双线性差值及离散坐标映射表,得到完整的图像的坐标映射表。

所述步骤S4具体包括:

S4.1设置一个距离摄像机的等效无穷远平面,该平面与S1所述平面平行, 利用S3得到的坐标映射表,计算左图或右图的投影变换图像;

S4.2比较其中一张投影变换图像与另一张原始图像在等效无穷远平面的 视差值;

S4.3利用视差值平移S3得到的坐标映射表,得到无穷远平面对齐的坐标映 射表。

所述S3.1根据右图或左图图像大小,建立坐标映射表,具体如下:

建立一张与右图图像大小相同的坐标映射表,然后遍历该图横纵坐标均能 被4或8或16整除的点Pr(i,j),利用单应矩阵H计算其映射坐标Pl(i,j),其中i,j 均为4或8或16的倍数,并对该映射坐标进行定点化处理,乘以64或128,然 后四舍五入取整,获取离散坐标映射表。

所述S4.1中所述等效无穷远平面与摄像机之间的距离是两个摄像机之间基 线的100倍以上。

本发明的有益效果:

本发明避免了摄影机定标的繁琐步骤,提出了利用一个平面和DLT(直接线 性变换方法)求取基于平面的图像对齐,在通过平移,得到等效无穷远对齐的 坐标映射表或等效H矩阵;通过无穷远平面对齐,可用于实现立体图像的快速 配准,以及深度图像的获取。

附图说明

图1是本发明的方法流程图;

图2是本发明现有技术中具有平行光轴结构摄像机的第一视角及第二视 角的结构示意图;

图3是本发明具体实施方式棋盘格平面示意图。

具体实施方式

下面结合实施例及附图,对本发明作进一步地详细说明,但本发明的实施 方式不限于此。

实施例:

如图1所示,一种基于平行光轴结构摄像机的无穷远图像对齐方法,包括 如下步骤:

S1设定一个垂直于摄像机光轴方向的平面,然后从该平面上均匀选取匹配 点;

设置两台具有平行光轴结构的摄像机,且并排放置,在摄像机的正前方, 设定一个垂直于摄像机光轴方向的平面,并张贴上棋盘格纸,棋盘格图纸的设 计可以参照图3所示,但又不仅限于此。棋盘格要尽可能的占满两台摄像机的 图像,选择棋盘格的角点作为特征点,两台摄像机分别获取一张图像,记为左 图像和右图像(原始图像),然后从中均匀选取匹配点对,所述匹配点对数至少 4对,例如20对匹配点,分别是Pl和Pr,Pl表示左图的匹配点,Pr表示右图的匹 配点,并记录下来。

S2利用匹配点,求解描述基于该平面关系的单应矩阵;具体包括如下步骤:

S2.1对匹配点坐标进行归一化。

设Pl和Pr是其中一对匹配点坐标,和分别是Pl、Pr归一化后的坐标。

现对左图坐标点进行归一化采用如下公式:

Pl=TlPl

Pl=[Xl,Yl,1]T

Tl=1/Dl0-E(Xl)01/Dl-E(Yl)001

Dl=Σi=120((Xl(i)-E(Xl))2+(Yl(i)-E(Yl))2)20

E(Xl)=Σi=120X(i)20

其中,Tl是归一化矩阵,Dl是归一化前左图坐标点的标准差,E(Xl)和E(Yl)是 归一化前坐标点的期望,对右图坐标Pr进行相同的归一化处理得到

S2.2利用归一化坐标建立Ah=0齐次方程的公式:

假设垂直于摄像机光轴方向的平面上任意点p,在左、右两图像中的投影点 归一化后的坐标分别是Xi′和Xi

0T-wiXiTyiXiTwiXiT0T-xiXiT-yiXiTxiXiT0Th1h2h3=0

其中,h=h1h2h3,Xi=xiyiwi,Xi=xiyiwi,和wi为1,h1、h2、h3均为三维列向量。 将20对归一化坐标点和依次带入上述方程的系数矩阵A,构成9行60 列的矩阵。其中i表示第i对匹配点坐标,i不超过匹配点对数。

S2.3将S2.1得到的归一化坐标代入S2.2得到的系数矩阵A,通过SVD分 解,得到h矩阵的近似解,也就是描述归一化坐标之间的单应矩阵h;

具体为:

公式如下:A=UDVT

对A矩阵进行SVD分解,h由矩阵V的最后一列构成,并将其整理成3*3 的形式:

h*=h1Th2Th3T

S2.4通过反归一化处理,求解描述原始图像匹配点坐标映射关系的单应矩 阵,具体为通过反归一化,计算直接描述Pl和Pr映射关系的H矩阵公式如下:

Pl=h*Pr

TlPl=kh*TrPr

Pl=kTl-1h*TrPr

k是比例系数,保证了三维向量的第三个分量为1,将单应矩阵记 作H,令

H=kTl-1h*Tr

得到左图映射点和右图映射点的关系式如下:

Pl=HPr

通过该H矩阵,即可建立起基于S1所述平面的图像对齐。

S3利用单应矩阵和双线性插值算法,求解基于该平面对齐的坐标映射表;

S3.1计算原始图像的离散坐标映射表,具体为:

假设计算右图坐标点对应的映射坐标,建立一张坐标映射表,以右图图像 坐标系为基准,一般取8*8的方框(前提是图像的长、宽均能被8整除)覆盖满 整个右图。根据不同的精度要求,方框也可以选择4*4或16*16。在每个8*8的 方框顶点Pr(i,j)使用S2.4求解出的H矩阵计算出映射坐标Pl(i,j)。其中i,j均为 8的倍数,并对该坐标进行定点化处理,乘以64或128,然后四舍五入取整, 获取离散的坐标映射表。

S3.2计算完整的坐标映射表,步骤如下:

通过S3.1得到右图Pr(i,j)(其中i,j均为8的倍数)的映射坐标,对于右 图其他位置的点,需要用插值方法来计算。

采用双线性插值方法,按照8*8的方框逐个进行。在每一个方框内部,利 用如下公式计算出四条边上坐标点的映射坐标。

f(k)=(f(1)*(8-k)+f(2)*k)/8;    (0<k<8)

利用如下公式计算出方框的内部区域坐标点的映射坐标。

f(x,y)=(f(1)*(8-x)*(8-y)+f(2)*(x)*(8-y)+f(3)*(8-x)*(y)+f(4)*x*y)/64

(0<x,y<7)

其中f(1),f(2),f(3),f(4)分别为方框四个顶点位置的映射坐标。遍历整 张右图内的每一个方框,都使用上述插值方法,即可得到一张完整图像的坐标 映射表。

S4设置一个垂直于摄像机光轴方向的等效无穷远平面,利用投影变换、计 算无穷远平面上对应点的视差,平移S3得到坐标映射表,然后得到无穷远平面 对齐的坐标映射表。

所述等效无穷远平面与S1中的平面平行,均垂直于摄像机光轴方向,且等 效无穷远平面距离摄像机的距离是两摄像机之间基线距离的100倍以上,上面 两个条件是为了保证经过投影变换后,无穷远平面上的点存在相同的视差;同 时对距离的规定,保证了可以等效到无穷远。如两台摄相机之间的基线距离为 0.1m,则要求无穷远平面的距离为10m以上。

S4.1设置一个垂直摄像机光轴方向的等效无穷远平面,利用S3得到的坐标 映射表和双线性插值算法,计算左图的投影变换图像即PT图像;

具体为:

首先为PT图像申请与右图等大小的图像空间,遍历PT图像上每一个像素 位置,利用步骤S3得到的坐标映射表,确定该点在左图上位置,利用周围最近 的四个像素点,通过双线性插值算法,计算出映射表指向位置的颜色值,填充 到新建的这张图像上,即为PT图像。

S4.2在等效无穷远平面上,找到多个PT图像与右图的对应点,计算其水 平方向视差的均值即坐标值之差,并记录下来。

Offset=abs(Pr-HPl)

由于摄像机之间具有平行光轴结构并排摆放,PT图像与右图对应点之间, 即Pr和HPl之间仅存在水平视差,故这里只计算水平方向的视差。

等效无穷远平面与S1所述平面平行,且均垂直于光轴方向,使得等效无穷 远平面上的任意点到摄像机位置的深度是相等的。因为深度相等,故Pr和HPl之 间的视差是一个定值。

S4.3利用视差值平移S3.2得到的坐标映射表,得到无穷远平面对齐的坐标 映射表即H矩阵。

H矩阵的第一行第三列元素(即H13)的作用是控制水平方向的平移,也可通 过加减该参数,来求取H矩阵。

上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受所述实 施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、 替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号