立体视觉系统的增强方法及立体视觉系统

摘要

本发明提供了一种立体视觉系统的增强方法及立体视觉系统，立体视觉系统拍摄的被主动照明的多个第一红外图像，所述第一红外图像中包含阵列分布的光斑；然后依次采用低通滤波和高通滤波去除尺寸小于或等于光斑尺寸的边缘或纹理并恢复尺寸大于光斑尺寸的边缘或纹理得到第三红外图像，从而在不增加任何额外硬件的情况下，获得不包含光斑纹理的红外图像且不增加新的遮挡点，采用所述第三红外图像及多个所述第一红外图像可以得到稳健深度图像，以提高立体视觉系统的稳健性。

说明书

技术领域

本发明涉及视觉图像处理技术领域，尤其涉及一种立体视觉系统的增强方法及立体视觉系统。

背景技术

双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取视觉场景的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。双目立体视觉融合两只“眼睛”获得的原始图像并观察它们之间的差别，可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，通过这个差别可以得到视差(Disparity)图像。

双目立体视觉根据光源的不同可以分别主动立体视觉(主动提供光源)及被动立体视觉(借助环境光)，其中主动立体视觉通过增加伪随机模式的光源(点阵激光红外光源)对场景进行纹理化，以弥补被动立体视觉在重复纹理或者弱纹理场景的不足，伪随机模式的光源增强了场景的纹理，降低了立体匹配算法的复杂度，提高了深度图像的精度。

为了增强主动立体匹配的稳健性，通常还需要一对或一幅“干净”的红外图像，即不包含伪随机模式光源照明产生的光斑纹理的红外图像，现有的获取“干净”的红外图像的方法通常是增加一个可见光摄像头和陷波滤波器或增加一个红外摄像头和一个红外泛光灯，但是这两种方法一方面增加了系统成本，一方面增大了系统尺寸，还会因为三个摄像头的视差原因，导致场景中更多的信息被遮挡(不被三个摄像头同时可见)，以至于不能被立体匹配算法正确处理，导致得到的深度图不准确。

发明内容

本发明的目的在于提供一种立体视觉系统的增强方法及立体视觉系统，在不增加任何额外硬件的情况下，能够获得“干净”的红外图，并且不会增加新的遮挡点。

为了达到上述目的，本发明提供了一种立体视觉系统的增强方法，包括：

获取一立体视觉系统拍摄的被主动照明的多个第一红外图像，所述第一红外图像中包含阵列分布的光斑；

对至少一个所述第一红外图像进行低通滤波以去除所述第一红外图像中尺寸小于或等于光斑尺寸的边缘或纹理并形成第二红外图像；

对所述第二红外图像进行高通滤波以恢复所述第二红外图像中尺寸大于光斑尺寸的边缘或纹理并形成第三红外图像；

根据所述第三红外图像及多个所述第一红外图像得到稳健深度图像。

可选的，所述低通滤波包括加权均值滤波，所述高通滤波包括差分滤波。

可选的，根据所述第三红外图像及多个所述第一红外图像得到稳健深度图像的步骤包括：

利用多个所述第一红外图像构建立体匹配的代价函数；

利用所述第三红外图像构建立体匹配的代价函数的正则化项；

通过立体匹配的代价函数及其正则化项共同定义立体匹配的能量函数，通过求解每个像素点的能量函数的最小值得到每个像素点的视差值，以得到原始深度图像。

可选的，获取所述原始深度图之后，所述立体视觉系统的增强方法还包括：

利用所述第三红外图作为权值图进行保边滤波，其中，所述保边滤波包括联合加权均值滤波、双边滤波、导向滤波或加权中值滤波中的任一种。

可选的，获取所述稳健深度图像之后，所述立体视觉系统的增强方法还包括：

根据所述稳健深度图像建立三维模型并利用所述第三红外图像作为纹理图，在所述三维模型上贴上纹理。

本发明提供了一种立体视觉系统，包括：

红外点阵光源模块，用于发出红外点阵光束照明以对视觉场景进行照明；

多个红外摄像模块，用于拍摄被主动照明的多个第一红外图像；

低通滤波模块，用于对至少一个所述第一红外图像进行低通滤波以去除所述第一红外图像中尺寸小于或等于光斑尺寸的边缘或纹理并形成第二红外图像；

高通滤波模块，用于对所述第二红外图像进行高通滤波以恢复所述第二红外图像中尺寸大于光斑尺寸的边缘或纹理并形成第三红外图像；

计算模块，用于根据所述第三红外图像及多个所述第一红外图像得到稳健深度图像。

可选的，所述低通滤波包括加权均值滤波，所述高通滤波包括差分滤波。

可选的，所述计算模块包括：

立体匹配模块，所述立体匹配模块利用多个所述第一红外图像及所述第三红外图像构建能量函数并求解每个像素点的能量函数的最小值，并根据每个像素点的能量函数的最小值得到每个像素点的视差值以得到原始深度图像；

后处理模块，所述后处理模块利用所述第三红外图像作为权值图，对所述原始深度图像进行保边滤波，以得到所述稳健深度图像。

可选的，所述立体视觉系统还包括三维重建模块，所述三维重建模块根据所述稳健深度图像建立三维模型并利用所述第三红外图像作为纹理图，在所述三维模型上贴上纹理。

可选的，所述立体视觉系统为双目主动立体视觉系统。

在本发明提供的立体视觉系统的增强方法及立体视觉系统中，立体视觉系统拍摄的被主动照明的多个第一红外图像，所述第一红外图像中包含阵列分布的光斑；然后依次采用低通滤波和高通滤波去除尺寸小于或等于光斑尺寸的边缘或纹理并恢复尺寸大于光斑尺寸的边缘或纹理得到第三红外图像，从而在不增加任何额外硬件的情况下，获得不包含光斑纹理的红外图像且不增加新的遮挡点，采用所述第三红外图像及多个所述第一红外图像可以得到稳健深度图像，以提高立体视觉系统的稳健性。

附图说明

图1为本发明实施例提供的立体视觉系统的增强方法的流程图；

图2为本发明实施例提供的立体视觉系统的增强方法的又一流程图；

图3为本发明实施例提供的立体视觉系统的结构框图；

其中，附图标记为：

1-红外点阵光源模块；2-红外摄像模块；3-低通滤波模块；4-高通滤波模块；5-计算模块。

具体实施方式

下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

如图1所示，其为本实施例提供的立体视觉系统的增强方法的流程图，所述立体视觉系统的增强方法包括：

S1：获取一立体视觉系统拍摄的被主动照明的多个第一红外图像，所述第一红外图像中包含阵列分布的光斑；

S2：对至少一个所述第一红外图像进行低通滤波以去除所述第一红外图像中尺寸小于或等于光斑尺寸的边缘或纹理并形成第二红外图像；

S3：对所述第二红外图像进行高通滤波以恢复所述第二红外图像中尺寸大于光斑尺寸的边缘或纹理并形成第三红外图像；

S4：根据所述第三红外图像及多个所述第一红外图像得到稳健深度图像。

具体的，本实施例中，所述立体视觉系统为主动立体视觉系统，其例如具有两个红外摄像模块，以模仿人体的左眼和右眼以拍摄红外图像，所述主动立体视觉系统具有红外点阵光源模块，所述红外点阵光源模块例如是点阵激光器，其可以发出点阵红外光束以对一视觉场景进行主动照明。

如图2所示，对所述视觉场景进行主动照明后开始执行步骤S1，获取所述立体视觉系统拍摄的多个第一红外图像，所述第一红外图像中包含阵列分布的光斑。具体的，所述立体视觉系统的两个红外摄像模块分别拍摄同一视觉场景以得到两个第一红外图像(包括左第一红外图像和右第一红外图像)，由于所述视觉场景被主动照明，所以每个所述第一红外图像中均具有光斑(点阵光斑的轮廓)。

接着执行步骤S2，采用至少一个所述第一红外图像进行低通滤波以去除所述第一红外图像中尺寸小于或等于光斑尺寸的边缘或纹理并形成第二红外图像。具体的，本实施例中具有两个所述第一红外图像，可以根据实际需要对任一个第一红外图像或两个第一红外图像进行低通滤波，以去除所述第一红外图像中尺寸小于或等于光斑尺寸的边缘或纹理以形成所述第二红外图像(包括左第二红外图像和右第二红外图像)。本实施例中，所述低通滤波为加权均值滤波，滤波的尺寸可以根据红外点阵光源模块发出的点阵红外光束进行调整，只要实现低通滤波后能将所述第一红外图像中尺寸小于或等于光斑尺寸的边缘或纹理去除即可。

进一步，对所述第一红外图像进行低通滤波形成所述第二红外图像后，所述第一红外图像中的高频部分可能在低通滤波的过程中丢失。接下来执行步骤S3，对所述第二红外图像进行高通滤波以恢复所述第二红外图像中尺寸大于光斑尺寸的边缘或纹理并形成第三红外图像。可以理解的是，所述第一红外图像中的高频部分表现为高频的边缘或纹理，对所述第二红外图像进行高通滤波后，可以恢复所述第二红外图像中高频的边缘或纹理并形成所述第三红外图像(包括左第三红外图像和右第三红外图像)。本实施例中，所述高通滤波为差分滤波。

进一步，经过所述低通滤波和高通滤波后形成的第三红外图像是“干净”的红外图像，可以采用所述第三红外图像提高所述立体视觉系统的稳健性。

首先，可以利用多个所述第一红外图像构建立体匹配的代价函数，接着利用所述第三红外图像构建立体匹配的代价函数的正则化项，立体匹配算法是通过求能量函数的最小值来求得最佳匹配的，根据求得的能量函数的最小值解包裹即可得到每个像素点的视差值，然后根据每个像素点的视差值得到每个像素点对应的深度信息，从而可以得到深度图像，所以，本实施例中，通过立体匹配的代价函数及其正则化项共同定义立体匹配的能量函数，通过求解每个像素点的能量函数的最小值得到每个像素点的视差值，以得到原始深度图像。然而能量函数构造的一般形式是匹配代价加正则化项，其中匹配代价度量的是多个所述第一红外图像对应像素的相似程度，正则化项通过引入惩罚因子使能量函数的梯度与多个所述第一红外图像一致，如果没有所述第三红外图像而是采用任一所述第一红外图像做正则化的约束，那么求得的每个像素点的深度信息会包含所述光斑的梯度信息，也即得出的所述原始深度图像中能看到光斑轮廓，本实施例使用所述第三红外图像的梯度信息来约束能量函数，以使得到的原始深度图像没有光斑轮廓，且边缘能与所述第三红外图像对齐。

其次，由于立体匹配算法时耗非常长，一般对于能量函数的寻优算法都是局部的或者半全局的，这样算得的原始深度图像都不具备全局最优的特性。所以，得到原始深度图像后，利用所述第三红外图像对所述原始深度图像进行滤波后处理，以去除局部寻优错误引入所述原始深度图像中的噪声。例如，利用所述第三红外图像作为权值图，对所述原始深度图像进行保边滤波以形成稳健深度图像，所述稳健深度图像被很好地滤除了噪声并且保持边缘与所述第三红外图像对齐。本发明不限于使用何种具体形式的保边滤波，比如联合加权均值滤波、双边滤波、导向滤波或加权中值滤波中的任一种均可。进一步，得到的所述稳健深度图像仅包含深度信息不包含纹理信息，为了便于展示，本实施例还利用所述稳健深度图像进行三维重建以形成对应所述视觉场景的三维模型，再利用所述第三红外图像作为纹理图，在所述三维模型中贴上视觉场景的纹理，由于所述第三红外图像不包含所述光斑纹理，所以采用所述第三红外图像作为纹理图不会在所述三维模型中贴上光斑纹理，也不会影响三维模型的展示效果。

基于此，本实施还提供了一种立体视觉系统，其特征在于，包括：

红外点阵光源模块1，用于发出红外点阵光束照明以对视觉场景进行照明；

多个红外摄像模块2，用于拍摄被主动照明的多个第一红外图像；

低通滤波模块3，用于对至少一个所述第一红外图像进行低通滤波以去除所述第一红外图像中尺寸小于或等于光斑尺寸的边缘或纹理并形成第二红外图像；

高通滤波模块4，用于对所述第二红外图像进行高通滤波以恢复所述第二红外图像中尺寸大于光斑尺寸的边缘或纹理并形成第三红外图像；

计算模块5，用于根据所述第三红外图像及多个所述第一红外图像得到稳健深度图像。

具体的，所述立体视觉系统为双目主动立体视觉系统，其具有两个红外摄像模块2。本实施例中，所述低通滤波模块3为加权均值滤波器，所述高通滤波模块4为差分滤波器。

可选的，所述计算模块包括立体匹配模块及后处理模块，所述立体匹配模块利用两个所述红外摄像模块2拍摄的两个所述第一红外图像及通过任一所述第一红外图像得到的所述第三红外图像构建能量函数并求解每个像素点的能量函数的最小值，并根据每个像素点的能量函数的最小值得到每个像素点的视差值以得到原始深度图像，所述后处理模块利用所述第三红外图像作为指导图，对所述原始深度图像进行保边滤波，以得到所述稳健深度图像。

可选的，所述立体视觉系统还包括三维重建模块，所述三维重建模块根据所述稳健深度图像建立三维模型并利用所述第三红外图像作为纹理图，在所述三维模型上贴上纹理，以使所述三维模型不仅包括视觉场景的深度信息还包括视觉场景的纹理信息。

综上，在本发明实施例提供的立体视觉系统的增强方法及立体视觉系统中，立体视觉系统拍摄的被主动照明的多个第一红外图像，所述第一红外图像中包含阵列分布的光斑；然后依次采用低通滤波和高通滤波去除尺寸小于或等于光斑尺寸的边缘或纹理并恢复尺寸大于光斑尺寸的边缘或纹理得到第三红外图像，从而在不增加任何额外硬件的情况下，获得不包含光斑纹理的红外图像且不增加新的遮挡点，采用所述第三红外图像及多个所述第一红外图像可以得到稳健深度图像，以提高立体视觉系统的稳健性。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。