法律状态公告日
法律状态信息
法律状态
2019-12-13
授权
授权
2018-07-13
实质审查的生效 IPC(主分类):G01B11/25 申请日:20180209
实质审查的生效
2018-06-15
公开
公开
技术领域:
本发明属于计算机视觉中三维重构的领域,具体涉及一种针对条纹投影三维测量系统离焦现象的相位误差校正方法。
背景技术:
基于条纹投影的三维测量技术FPP(fringe projection profilometry)由于其精度高,速度快,受环境光影响较小等优点,近年来受到了广泛的研究和应用。作为一种基于主动光投影的三维测量方法,FPP也有相应的局限性。在主动光投影技术中,常常假定待测物体表面的某一物点仅直接接收来自于投影设备传感器的光照。这个假设在许多实际情况中并不成立。物体上某一物点除了直接接收投影仪某一像素的光照外,还可能接收因互反射,次表面散射和离焦等现象引起的非直接光照。在FPP系统中如果不考虑这些非直接光照,可能会导致较为明显的系统误差。
在实际测量过程中,由于相机镜头的景深十分有限以及物体形貌变化复杂,相机离焦现象十分常见。尤其是当FPP系统测量视场较小时,由于景深限制,相机离焦现象几乎是不可避免的。作为上述非直接光照的一种,相机离焦现象将会在图片中产生局部模糊,从而影响最终应用相移算法解得的相位精度。除了相机离焦现象,局部模糊还会由投影仪离焦和次表面散射两个因素引起。虽然本专利仅针对相机离焦现象提出相位校正算法,但由于次表面散射和相机离焦现象在FPP系统中产生相位误差的机理相似,故本专利的方法也可以一定程度上用于校正次表面散射现象引起的相位误差。另外,一定程度的投影仪离焦现象不会对相位误差产生影响,故不在本专利讨论范围之内。
针对包括相机离焦现象在内的非直接光照对相位的影响,目前绝大部分解决方法是基于高频条纹投影的方法。其原理是当投影的条纹频率很高时,非直接光照引起的误差可以被抵消掉。该类方法可以一定程度地解决非直接光照如互相反射和次表面散射引起的相位误差,但是却对相机离焦现象作用不大。其原因是相机离焦现象产生的模糊往往非常局部,图像中某像素仅接收物体表面很小区域的反射光。在这种情况下,基于高频条纹投影的方法必须要投影频率非常高的条纹图才能有效抑制相机离焦产生的影响。但是工业投影仪无法准确投影条纹宽度非常小的条纹,例如对于常见的投影仪,当投影条纹宽度小于8个像素时,投影仪往往无法准确投射。所以该类方法无法用来解决FPP系统中相机离焦引起的相位误差。
发明内容:
本发明旨在提供一种针对条纹投影三维测量系统离焦现象的相位误差校正方法,先分析出由相机离焦引起的相位误差的解析表达式,然后直接求解该相位误差并对相位进行校正的方法。该方法作为一种数学算法,对测量系统没有额外的硬件需求,也无需投影额外的条纹图,直接利用原始受相机离焦现象影响的条纹图即可完成校正。校正后的相位结合标定参数可以获取高精度的三维重构结果。
为解决上述问题,本发明采用以下技术方案:
一种针对条纹投影三维测量系统离焦现象的相位误差校正方法,该方法包括如下步骤:
S1.使用投影仪在物体上投射所需的N幅标准相移正弦条纹图像,对N幅条纹图进行采集;
S2.对于步骤S1中采集得到的条纹图,求解背景图像I',然后用传统相移法求解带有相位误差Δφ(xc)的相位
S3.对S2中得到的背景图像I'进行边缘提取;
S4.用步骤S3中得到的边缘图像,恢复背景图像I'在离焦之前的清晰背景图像I′s;
S5.根据步骤S4中求得的清晰背景图像I′s,通过最小化如下图像距离来计算每一个边缘像素由相机模糊引起的点扩散函数G,由单参数标准差σ描述,
d=||I'-I's*G||2;
S6.对于步骤S5中确定的每一个待处理的像素,跟据邻域平均法计算相位梯度方向:
其中,u和v为图像像素坐标的横向和纵向索引;w为一个预设的正方形邻域的宽;φu和φv分别为沿u和v方向的相位偏导数;
S7.根据步骤S4中得到的离焦前背景图像I′s,步骤S5中得到的点扩散函数G和步骤S6中得到的相位梯度方向
其中Δ(xi,xo)是像素xi与xo之间的相位差,在近邻域平面性假设的前提下,
S8.根据式
所述的针对条纹投影三维测量系统离焦现象的相位误差校正方法,步骤S1中所述的使用投影仪在物体上投射所需的N幅标准相移正弦条纹图像的具体操作是:根据主动光投影三维测量系统中的硬件三角关系固定投影仪和摄像机,将表面纹理复杂的待测物体放置在合适的位置。使用投影仪在物体上投射所需的N幅标准相移正弦条纹图像,条纹灰度值设置为:
其中,
所述的针对条纹投影三维测量系统离焦现象的相位误差校正方法,步骤S1中所述的对N幅条纹图进行采集的具体方法是:首先调整摄像机的光圈大小,快门速度和感光度,使得采集回来的图像不会出现图像饱和,即图像中最亮区域灰度值小于255),在此相机参数下对N幅条纹图进行采集,在相机出现离焦现象时,相机采集到的条纹灰度值为:
其中,
所述的针对条纹投影三维测量系统离焦现象的相位误差校正方法,步骤S2中所述的背景图像I'和相位的求解方法:
S21.对于采集到的N幅相移条纹图Ii,i=1,2,..,N,根据以下公式求解背景图像:
S22.对于采集到的N幅相移条纹图Ii,i=1,2,..,N,根据以下公式求解相位:
所述的针对条纹投影三维测量系统离焦现象的相位误差校正方法,步骤S4中所述的恢复背景图像I'在离焦之前的清晰背景图像I′s的具体方法是:对于每一个边缘像素,沿着灰度梯度方向寻找局部最大值和最小值,由于最大最小值分布于该像素的两侧,故将从最大最小值像素位置到边缘像素位置的所有像素的灰度值设为该最大值或最小值,对每一个边缘像素进行这样的处理,则可以得到清晰的背景图像I′s。
有益效果:本发明针对传统条纹投影三维测量系统在实际测量容易因相机景深问题导致图片模糊,进一步导致明显相位误差的问题,提出了基于解析表达的相位误差校正算法。相比现有的技术,本专利提出的方法除了测量系统本身外不依赖任何硬件,也不依赖于投影高频条纹。通过分析相机离焦对相位质量的影响,建立相位误差的解析表达式。然后结合每个像素的点扩散函数PSF,模糊前背景图I′s,相位方向
附图说明:
图1是发明的整个过程的流程图。
图2是条纹投影三维测量系统框架图。
图3是测试物体示意图。
图4是本专利需要处理的像素点示意图。
图5是计算得到的模糊前背景图。
图6是模糊函数PSF计算结果示意图。
图7是相位差Δ(xi,xo)示意图。
图8是对测试物体用本专利计算得到的相位误差示意图。
图9是实验物体示意图。
图10是直接应用传统方法获取的三维重构结果图。
图11是应用本专利算法对相位校正后获取的三维重构结果图。
具体实施方式:
下面结合具体实施方式,进一步阐明本发明,应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
实施例1:
下面结合附图和具体实施例,进一步阐明本发明。在Windows操作系统下选用MATLAB作为编程工具,对计算机生成的正弦条纹以及CCD相机采集到的条纹图像进行处理。该实例采用具有黑色纹理的白色平面作为被测物体,证实本专利提出的误差校正方法的有效性。应理解这些实例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种针对条纹投影三维测量系统离焦现象的相位误差校正方法,算法流程如图1所示。测量系统结构框图如图2所示。
具体包括以下步骤:
步骤1:根据主动光投影三维测量系统中的硬件三角关系固定投影仪和摄像机,将表面纹理复杂的待测物体放置在合适的位置。使用投影仪在物体上投射所需的N幅标准相移正弦条纹图像,条纹灰度值设置为:
其中,
步骤2:将摄像机相关参数:光圈大小,快门速度和感光度进行合理设置,使得采集回来的图像不会出现图像饱和(即图像中最亮区域灰度值小于255)。在此相机参数下对N幅条纹图进行采集。在相机出现离焦现象时,相机采集到的条纹灰度值为:
其中,
步骤3:对于步骤2中采集得到的条纹图,求解背景图像I',如图3所示。然后用传统相移法求解带有相位误差Δφ(xc)的相位
步骤3.1:对于采集到的N幅相移条纹图Ii,i=1,2,..,N,根据以下公式求解背景图像:
步骤3.2:对于采集到的N幅相移条纹图Ii,i=1,2,..,N,根据以下公式求解相位:
步骤4:对步骤3中得到的背景图像I'进行边缘提取。对于该图像中的每个像素,判断其邻域10个像素以内是否有边缘点。如果没有,则对该像素不作处理;如果有,则该像素为本专利要处理的对象。图4是图3所示背景图像I'的分类结果,其中全黑区域(图像灰度值为0)为本专利不处理的像素;对于非全黑区域(图像灰度值大于0)中的每一个像素,由于在邻域内有边缘像素点,故为本专利要处理的部分。
步骤5:用步骤4中得到的边缘图像,恢复背景图像I'在离焦之前的清晰背景图像I′s。具体方法是:对于每一个边缘像素,沿着灰度梯度方向寻找局部最大值和最小值,由于最大最小值分布于该像素的两侧,故将从最大最小值像素位置到边缘像素位置的所有像素的灰度值设为该最大值或最小值。对每一个边缘像素进行这样的处理,则可以得到清晰的背景图像I′s,如图5所示。从图中看可以看出,I′s较好地反映了未受相机离焦而模糊的背景图像。
步骤6:根据步骤5中求得的清晰背景图像I′s,通过最小化如下图像距离来计算每一个边缘像素由相机模糊引起的点扩散函数G,由单参数标准差σ描述。图6为计算得到的PSF结果,值得注意的是为了降低算法的复杂度,仅计算边缘像素的PSF。待处理区域的其他像素,其PSF都设为与最近的边缘像素相同。
d=||I'-I′s*G||2。
步骤7:对于步骤4中确定的每一个待处理的像素,跟据邻域平均法计算相位梯度方向:
其中,u和v为图像像素坐标的横向和纵向索引;w为一个预设的正方形邻域的宽;φu和φv分别为沿u和v方向的相位偏导数。该方法可以较高精度地在相机离焦和随机噪声的影响下获取每个像素的相位梯度方向。
步骤8:根据上述步骤得到的离焦前背景图像Is',点扩散函数G和相位梯度方向
其中Δ(xi,xo)是像素xi与xo之间的相位差。在近邻域平面性假设的前提下,
步骤9:根据式获取校正后的相位信息。最终结合标定信息,可求得测量物体的三维信息。图9至图11是第二组实测实验,图9为待测物体目标,物体表面具有跳变较大的纹理区域。图10和图11分别是采用传统方法测量得到的三维重构结果和用本方法进行相位误差校正后得到的结果。可以看到经过本专利方法的校正,由相机离焦引起的重构误差明显减小。值得一提的是,本专利提出的方法无需投影额外的条纹图,而是直接用传统相移算法所需的图片进行相位误差分析和校正。由校正后的相位信息获得的三维重构图有效降低了相机离焦造成的系统误差。
应当指出,上述实施实例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定,这里无需也无法对所有的实施方式予以穷举。本实施例中未明确的各组成部分均可用现有技术加以实现。对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
机译: 消除边缘投射投影系统现象的相位误差校正方法
机译: 光栅投影三维测量系统的误差校正方法
机译: 用于服务器的睫毛条纹合成图像生成方法,涉及针对用户修改的模拟参数值生成条纹的三维图像,其中该图像是通过多区域条纹模拟生成的