基于光场迭代的精确高反光去除方法

摘要

本发明公开了一种基于光场迭代的精确的高反光去除方法：(1)结合光场数据提取中心视角图像，运用自适应阈值和光场迭代算法，充分检测到每一个镜面像素点；重聚焦到镜面候选的每个角度，计算角度像素方差，并设定阈值得到饱和像素点和非饱和像素点；对非饱和像素点转换到HSI空间中进行聚类，运用双色反射模型结合本征图像处理非饱和像素点。(2)提出自适应方向的饱和像素点处理方法，利用边缘检测算子去除对重建饱和像素点有干扰的边缘方向；然后，基于光场的多个角度特征，提出高斯概率分布模型运用到光场图像角度域中进行加权求和以替代饱和高光像素点。(3)提出镜面残余占比和图像信息熵结合的方法定量评估高光去除效果。

说明书

技术领域

本发明涉及一种高光去除的方法，尤其涉及一种光场迭代的精确的高反光去除方法。

背景技术

当前基于高反光去除方法主要基于偏振镜以及单幅和多幅图像去除方法。偏振镜可根据材料介质过滤高光，然而，由于色差效应和偏振图像之间的重合失调，镜面反射分量在边界区域上具有很大的误差。对于单幅图像，主要运用双色反射模型以消除局部高光，但该方法大多基于先验知识，要求光源参数已知，适应性较差。基于多幅图片高光去除通常假设光源固定不变或者通过改变拍摄视角，利用特征点匹配算法去除高光，但是此种方法需要控制移动视角，时间和空间复杂度较高。

发明内容

本发明针对现有技术的不足，公开了一种基于光场迭代的精确的高反光去除方法，(1)结合光场数据提取中心视角图像，运用自适应阈值和光场迭代算法，充分检测到每一个镜面像素点；重聚焦到镜面候选的每个角度，计算角度像素方差，并设定阈值得到饱和像素点和非饱和像素点；对非饱和像素点转换到HSI空间中进行聚类，运用双色反射模型结合本征图像处理非饱和像素点。(2)提出自适应方向的饱和像素点处理方法，利用边缘检测算子去除对重建饱和像素点有干扰的边缘方向；然后，基于光场的多个角度特征，提出高斯概率分布模型运用到光场图像角度域中进行加权求和以替代饱和高光像素点。(3)提出镜面残余占比(SR)和图像信息熵(H)结合的方法定量评估高光去除效果。

为了达到上述目的，本发明提供的技术方案是：一种基于光场迭代的精确高反光去除方法，具体包括如下步骤(总体流程参见图1，细节流程参见图2)，

步骤1，利用原始光场图像得到5D光场图像，从5D光场图像中提取中心视角图像I

步骤2，将I

步骤3，运用步骤1中的深度图I

步骤4，对于步骤3得到的非饱和像素点L

I

步骤5，使用本征图Re置信度测量方法弱化遮挡问题，定义置信度：

若R较大，说明I

I

步骤6，使用自适应方向高光去除方法恢复饱和像素点L

步骤7，为了充分运用依据步骤1得到的光场多视角数据信息，定义光场多视角高斯概率分布模型

这里λ,ρ控制概率分布幅度，(u

pro

最后对光场多个视角进行加权得到最终的去除高光的饱和像素点图像；

步骤8，转到步骤2计算镜面候选像素点L

进一步的，还包括步骤9，对于步骤8输出的无高光图像，提出使用镜面残余占比SR和图像信息熵H对图像处理效果进行定量评价，定义镜面残余占比SR：

S

同时使用图像信息熵：

P(a

目，由以上分析结合SR和H可以得到SRH：

进一步的，步骤1中使用光场相机Lytro 2拍摄得到一组原始光场图像，通过LFTools工具箱解码得到5D光场图像，从5D光场图像中通过MATLAB提取中心视角图像I

进一步的，步骤2中利用K均值聚类，将图像亮度值聚类为四类。

进一步的，步骤4的具体实现方式如下，

首先使用I

I

I

进一步的，步骤6中使用一个以高光像素点p为中心的9×9的窗口，距离P越远的像素点权重越大，得到在视点(u

其中，为有效Ω方向信息，|Ω|指有效方向的个数和，m为以P为中心的总的窗口层数，I

有效方向信息的定义如下：针对一个饱和像素点p，周围的1～8方向的像素点作为恢复p点的候选像素点，如果某方向上的像素点颜色和P点颜色接近，即同样是高光点，则该方向上的像素点不能作为恢复高光点的候选信息；同时为了排除边缘信息对于高光去除的干扰，使用Canny边缘检测算子，去除边缘无效方向，此时最终剩余的有效方向为Ω。

进一步的，步骤7中对光场多个视角进行加权得到最终的去除高光的饱和像素点图像的具体实现为；

这里N为光场图像视角数量，u

与现有技术相比，本发明的优点和有益效果如下：

1.在工厂产品检测，尤其是运用机器视觉方法对机械零部件进行瑕疵识别，但是对于精度要求较高的场合，如果不能充分有效去除高光，恢复工件本来的颜色信息，会对后续生产带来很大安全隐患。光场成像作为新型的视觉成像技术，只需要一次曝光便能获得多个角度信息，减少传统运用多相机阵列带来的巨大的成本和安装调试问题，提高产品检测的时空效率。

2.与传统的高光去除方法相比，本发明公开一种新的结合光场高光去除算法。本发明算法能够探测到每一个高光像素点，效率高达99％。

3.使用光场多角度信息，把镜面候选点分别划分为非饱像素点和饱和像素点，运用双色反射模型，结合本征图像，能够在保持图像纹理特征点同时恢复非饱和高光点信息，并能够自适应选择有效的方向，结合光场角度域特征恢复饱和高光信息点，本算法能够在不破坏图像纹理条件下，不仅能去除高光而且能够恢复物体原来的纹理特征。

4.本发明提出了图像高光去除效果的定量的评估算法，能够实时监测高光去除效果，为机器检测提供了定量的反馈数据，保证产品检测的可靠性和安全性。

附图说明

图1为本发明总体流程图。

图2为本发明细节流程图。

图3为饱和像素点分布图，(a)为中心视角图像，(b)为镜面像素窗口分布。

图4为本发明实施例中斯坦福数据集图像高光去除和对比。

图5为Lytro 2拍摄得到光场高光去除和对比。

图6为镜面残余占比和图像信息熵效果对比。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。

如图1和图2所示，本发明提供一种基于光场迭代的精确高反光去除方法，具体包括如下步骤：

步骤1：使用光场相机(Lytro 2)拍摄得到一组原始光场图像，通过LFTools工具箱解码得到5D光场图像，从5D光场图像中通过MATLAB提取中心视角图像I

步骤2：把I

步骤3：运用步骤1深度图I

步骤4：对于步骤3得到的非饱和像素点L

I

具体实施为：首先使用I

I

I

步骤5：为了解决在角度域中，光场纹理边缘部分的像素会存在遮挡的问题，这里使用本征图像Re置信度测量方法弱化遮挡问题，定义置信度：

若R较大，说明I

I

步骤6：为了恢复饱和像素点L

其中，Ω为有效方向信息，m为以p为中心的窗口总层数，本发明使用m＝4，本实施例中有效方向信息为P4～P7，|Ω|指的有效方向的个数和，I

步骤7：为了充分运用依据步骤1得到的光场多视角数据信息，本发明定义光场多视角高斯概率分布模型

这里λ,ρ控制概率分布幅值。这里设为λ＝π，ρ＝1，(u

pro

对光场多个视角进行加权得到最终的去除高光的饱和像素点图像最终得到：

这里N为光场图像视角数量，u

步骤8：转到步骤2计算镜面候选L

步骤9：对于步骤7得到无高光的图像，提出使用镜面残余占比(SR)和现有的图像信息熵(H)对图像处理效果进行定量评价，定义镜面残余占比(SR)：

S

同时使用图像信息熵：

P(a

实施例：

(1)对于以上方法使用斯坦福数据集(Lego truck,Amethyst)和Lytro2在自然光下拍摄的四组光场图片(植物和金属零件)，以上数据都具有复杂的纹理和细微的过渡纹理特征，并且高反光强度较大，即便如此，使用本发明和Shen,Yang,Akashi对比可以得到较好的去除效果，处理效果和对比图如图4和图5。

(2)使用(1)处理得到的六组图片用步骤9定量评价本发明和其他方法高光去除效果，可以得到图6折线图和表1数据对比。由图6(a)可以看到，黑色实线接近1，说明本发明对于不同的场景都能有效检测和去除高光区域，图6(c)可以看到，本发明图像处理效果大于其他方法的至少20％，相比于其他方法，本发明能够精确高质量的去除高光并恢复高光区域本来的纹理信息。

表1.本发明和其他方法SRH对比

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。