公开/公告号CN101877143A
专利类型发明专利
公开/公告日2010-11-03
原文格式PDF
申请/专利权人 中国科学院自动化研究所;
申请/专利号CN200910242340.4
申请日2009-12-09
分类号G06T17/00(20060101);G06T15/00(20060101);
代理机构11021 中科专利商标代理有限责任公司;
代理人梁爱荣
地址 100080 北京市海淀区中关村东路95号
入库时间 2023-12-18 01:00:57
法律状态公告日
法律状态信息
法律状态
2022-11-18
未缴年费专利权终止 IPC(主分类):G06T17/00 专利号:ZL2009102423404 申请日:20091209 授权公告日:20120704
专利权的终止
2012-07-04
授权
授权
2010-12-15
实质审查的生效 IPC(主分类):G06T17/00 申请日:20091209
实质审查的生效
2010-11-03
公开
公开
技术领域
本发明涉及一种从二维图像组到三维场景模型的三维重建方法。
背景技术
三维场景重建是计算机视觉领域的一项核心内容,在计算机动画、电子娱乐、虚拟显示等领域都有着广泛的应用价值。国内外研究机构和学者对此展开了广泛研究。
80年代美国麻省理工学院人工智能实验室的Marr提出了一种视觉计算理论并应用在双目匹配上,使两张有视差的平面图产生在深度的立体图形,奠定了双目立体视觉发展理论基础。早期的三维场景重建主要是以同一场景不同角度拍摄的多幅图像为基础恢复场景的三维信息。从二维图像到三维场景生成通常需要经过图像获取、预处理、模型恢复和模型渲染等步骤。其中核心的三维模型恢复环节又可由特征提取与匹配、结构运动恢复、立体匹配和三维模型计算四部分组成。
特征提取与匹配意在将同一时间不同视角视频帧中对应相同三维目标的点或线对进行匹配,是三维重建过程中最基础的一步,直接影响到后续步骤的效果。结构运动恢复的任务是标定摄像机参数,主要方法分为离线标定和在线自标定两大类。立体匹配是在恢复摄像机运动和投影结构之后,通过生成场景的深度图来建立场景的三维模型,这一过程通常分为校正和匹配两步完成。三维模型计算是在以上得到的各点匹配图的基础上,通过三角关系可以计算得到场景的深度图。当存在多视角的情况下,需要对同一场景获取到的多幅深度图进行有效的融合。在融合过程中引入空间连续性等先验知识对提高融合效果具有重要影响。
从二维图像到三维立体的三维重建过程不但是把点状图像信息变换成整体描述的一个聚集过程,还可以通过加入某些先验信息改善和提高信息的聚集。现有的三维重建利用的先验信息均为客观信息,尚缺乏利用人类主观感知改善局部三维重建效果的有效方法。
发明内容
本发明的目的是在二维图像序组到三维场景模型的重建问题中引入人类视觉感知机理,利用视觉关注度模型对特征进行选择与匹配、并将视觉关注度引入三维模型的计算,对现有三维重建关键技术进行改进和补充,为提高受关注局部区域重建的精度、使三维重建结果更加符合人类的视觉感知、本发明提供一种二维图像组的三维场景重建方法。
为了实现以上目的,本发明提供的二维图像组的三维场景重建方法包括以下步骤:
步骤S1:输入图像组中每幅图像计算各像素的关注度评价;
步骤S2:在输入图像组的各幅图像上提取尺度不变特征变换特征点,并且对图像组中两两图像上的特征点进行匹配和选择,获得的匹配特征点,匹配和选择的原则包括特征点对的特征空间相似度以及获得的特征点相对应的视觉关注度;
步骤S3:利用获得的匹配特征点对对摄像机参数进行估计;
步骤S4:用选取的匹配特征点对、相应特征点的关注度评价以及估计得到的摄像机参数求取优化的三维场景模型。
其中,各点视觉关注度的权值按以下方法确定:某像素的视觉关注度由该像素与周围邻域内像素的颜色对比度经归一化描述,此关注度描述对应于该点在特征点选择和匹配、三维表面模型优化过程中的关注度权值。
其中,在特征点匹配和选择过程中,将特征点的视觉关注度以加权形式引入特征点匹配度的衡量,在选择匹配点时,优先选择视觉关注度高的匹配点对用于后期重建。
其中,在三维场景模型优化过程中,在优化函数的特征点投影一致性项中引入特征点关注度加权,优先提高受关注度点附近重建模型的精度。
本发明的优点在于:本发明在二维图像序组到三维场景模型的重建问题中引入人类视觉感知机理,利用视觉关注度模型对特征进行选择与匹配、并将视觉关注度引入三维模型的计算,对现有三维重建关键技术进行改进和补充,提高受关注局部区域重建的精度,使三维重建结果更加符合人类的视觉感知,为虚拟现实等应用提供支持。根据人类视觉认知特性,为用于重建的图像中各点确定其视觉关注度评价。在二维图像上提取特征点,并在图像间进行特征点匹配,匹配中用特征点的视觉关注度对匹配度进行加权,优先选择视觉关注度高的特征点进行匹配。用匹配点对计算优化的三维模型。在优化目标中的各向投影一致性评价中引入视觉关注度加权,减小关注度高的区域的模型误差。考虑了人类关注度在三维重建质量评价中的作用,在重建中优先提高关注度高的区域的三维模型精度,相对传统三维重建方法,能够获得更好的感官认知效果。本发明方法可被运用于虚拟现实等实际应用中。
附图说明
图1本发明基于视觉关注度的三维重建基本流程
图2本发明感兴趣度加权的特征点
具体实施方式
下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是,所描述的实施例仅旨在便于对本发明的理解,而对其不起任何限定作用。
根据人类视觉认知特性,为用于重建的图像中各点确定其视觉关注度评价。在二维图像上提取特征点,并在图像间进行特征点匹配,匹配中用特征点的视觉关注度对匹配度进行加权,优先选择视觉关注度高的特征点进行匹配。用匹配点对计算优化的三维模型。在优化目标中的各向投影一致性评价中引入视觉关注度加权,减小关注度高的区域的模型误差。基本重建流程如图1所示。
将人类认知中的关注度引入了传统的三维重建,将两者进行有效整合,提高受关注度高的区域的三维重建效果;
视觉关注度和三维重建的结合主要通过特征点匹配和三维表面模型优化这两个三维重建的关键步骤体现;
视觉关注度以加权的形式参与特征点选择和匹配、三维表面模型优化的决策过程。
各点视觉关注度的权值按以下方法确定:某像素的视觉关注度由该像素与周围邻域内像素的颜色对比度经归一化描述,此关注度描述对应于该点在特征点选择和匹配、三维表面模型优化过程中的关注度权值。
在特征点匹配和选择过程中,将特征点的视觉关注度以加权形式引入特征点匹配度的衡量,在选择匹配点时,优先选择视觉关注度高的匹配点对用于后期重建。
在三维表面模型优化过程中,在优化函数的特征点投影一致性项中引入特征点关注度加权,从而优先提高受关注度点附近重建模型的精度。
1.关注度评价
1)定义M×N像素点的图像上某点pij的关注度评价为该点与周围邻域内点之间的颜色对比度Cij:
2)将图像上各点的对比度归一化到[0,255]区间作为该点的关注度评价η。
2.二维特征点匹配
在取得各点的视觉关注度之后,三维重建工作从寻找多视角采集的图像组中各图像上二维特征点的提取和匹配开始。本发明采用尺度不变特征变换(SIFT)特征作为二维图像特征点的特征描述,建立16组每组8维共128维的SIFT特征向量[1](Lowe,David G.,″Object recognition fromlocal scale-invariant features″.Proceedings of the International Conference onComputer Vision.pp.1150-1157.)作为特征点的描述子,参与匹配(如附图2所示)。令图像A和图像B中的SIFT特征集SA和SB分别为
其中角标k代表16组8维向量的组序号,相似距离dij为16组8维向量按组欧氏距离的加和,由dij组成距离度量矩阵DAB=[dij],并按如下步骤进行特征点匹配:
1)在DAB的基础上定义距离度量矩阵DAB=[dij],其中:
2)将视觉关注度引入特征点匹配度的描述中,定义特征点匹配度矩阵MAB为:
MAB=[mij],其中
mij是图像A中第i个特征点和图像B中第j个特征点的匹配度,ηi是图像A中第i个特征点所对应的视觉关注度,ηj是图像B中第j个特征点所对应的视觉关注度,由步骤1的关注度评价方法得到。
3)将矩阵MAB=[mij]中元素从大到小排列,依次选择前p个元素组成匹配点对集合
图2是上述特征点匹配方法应用在两幅图像匹配中的实例示意图。
3.摄像机参数获取
利用以上提取的匹配点对,各视角间的视角坐标转换矩阵可由下式用最小二乘法估计
其中(xA,yA)和(xB,yB)是两个视角的匹配特征点对,x,y是二维图像空间坐标,h是视角转换参数。
像机参数和度量矩阵利用以上匹配点对通过文献[2](M.Pollefeys,R.Koch and L.Van Gool,“Self-Calibration and Metric Reconstruction in spite ofVarying and Unknown Internal Camera Parameters,”International Journal ofComputer Vision,32(1),7-25,1999.)中描述的摄像机自标定方法确定,主要过程如下:
1)在已知主点坐标和纵横比为1∶1的情况下利用线性模型算法粗略估计摄像机的焦距,并用非线性模型对焦距参数的估计值进行修正。
2)利用估计的摄像机参数求计算得到的二次曲面以及射影变换矩阵求取相应的度量变换矩阵T。
4.三维场景模型优化
本发明采用参数化表示三维场景模型,令三维表面X表示为X(u,v)≡(x(u,v),y(u,v),z(u,v)),三维重建的目标即为寻找一个最优的表面函数X,使其能够最小化以下代价函数p(X)=∫∫(c(X)+τs(X))dudv。代价函数由两项的积分表示,其中c(X)描述三维表面X在各视角上投影与所对应的二维图像的匹配度,定义为
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。
机译: 二维图像序列的三维场景重建方法
机译: 三维图像重建方法,例如医学图像,包括通过检测器拍摄物体的二维图像,并通过概率重建算法从二维图像中获得三维图像
机译: 虚拟现实中的二维图像集的三维场景重建