一种基于光场相机的多线索显著性提取方法

摘要

本发明公开了一种基于光场相机的多线索显著性提取方法，包括：1利用Lytro光场相机采集真实场景中的五维光场数据，获取光场全聚焦图像、深度图像、焦点堆栈图像序列和多视角图像序列；2对全聚焦图像进行超像素分割，在不同光场图像上提取超像素对之间的色彩、位置和深度差异特征；3分别提取相邻焦平面图像和相邻视角图像的平均光流特征，计算聚焦流差异特征和视角流差异特征；4将色彩、深度、聚焦流和视角流差异特征加权求和，并将位置差异特征作为权重，获得多线索初始显著结果；5优化初始显著结果，获取光场相机的多线索显著性。本发明能解决当前二维或三维显著性提取方法无法获取和使用视觉多线索的缺陷，有效提高复杂多变场景下的图像显著性提取的精度。

说明书

技术领域

本发明属于计算机/机器视觉、图像处理和分析领域，具体地说是一种基于光场相机的多线索显著性提取方法。

背景技术

随着多媒体信息技术的飞速发展，图像数据的复杂性和多样性不断增加，视觉信息的有效获取及处理是准确高效地描述外部多变环境的关键。显著性提取的目的之一就是在大量视觉信息中选择重要的感兴趣部分，并优先考虑所提取的显著部分分配资源，加快信息处理速度和效果，是计算机/机器视觉领域内研究热点之一，已广泛应用于图像视频压缩、目标跟踪与识别和图像检索等领域中。

根据可利用的图像数据源，当前图像显著性提取方法可以分为三类：二维显著性提取、三维显著性提取和光场显著性提取。

二维显著性提取方法是利用传统CCD相机获取二维图像，并提取底层/中层/高层显著特征，例如亮度、颜色、纹理、格式塔特征及目标或人脸等先验特征，使用线性或非线性的特征整合方式进行显著性提取。然而，二维图像是光线在传感器上投影积分，只包含特定方向的光线强度。因此，二维显著性提取方法易受前背景颜色相似、背景杂乱、遮挡等干扰因素的影响。随着图像数据的大规模增加，二维显著性提取方法已不适用复杂场景。

三维显著性提取方法是利用三维传感器记录场景的深度信息，该类信息能够弥补传统二维信息的不足，在一定程度上提升显著性提取的精确度。然而，三维显著性提取方法依赖于三维传感器的深度精度，目前深度相机存在分辨率较低、随机跳变和噪声的负面效应，因此仍然不能有效克服多变物理环境下的光照、尺度及背景的影响。

光场显著性提取方法是利用光场相机能够通过一次曝光同时记录光辐射在空间中的强度和方向信息的优势，获取具有丰富视觉线索的光场图像，融合不同光场图像上的显著性特征，提高挑战性场景的显著性提取性能。然而，目前可利用的光场数据较少且较为简单，例如场景杂乱有限、单一居中的显著性目标、缺少光照变化以及显著区域较大；当前光场显著性提取方法忽略了光场全光要素，提取性能较低。

因此，目前的显著性方法都不再满足实际需求，导致目前挑战性较大的复杂多变场景的显著性提取准确度不高，效率较低。

发明内容

本发明旨在解决当前二维或三维显著性提取方法无法获取和有效使用视觉多线索的缺陷，关注全光函数包含的所有视觉要素，提供一种基于光场相机的多线索显著性提取方法，以期提高复杂多变场景下的图像显著性提取的精度，从而深入理解由不同视觉线索引导的内在注意机制，为光场相机的视觉应用提供一种新思路。

为解决上述技术问题，本发明采用的技术方案是：

1、一种基于光场相机的多线索显著性提取方法，所述光场相机包括一个主透镜、一个微透镜阵列和一个成像传感器；其特点是，所述多线索显著性提取方法是按如下步骤进行：

步骤1、利用光场相机采集真实场景的五维光场数据集，记为L＝{L₁,L₂,…,L_n,…,L_N}；L_n表示第n个五维光场数据，且L_n＝(x,y,s,t,λ)；x和y分别表示所述成像传感器像平面的空间分辨率；s和t分别表示所述微透镜阵列像平面的角度分辨率；λ为波长；1≤n≤N；

步骤2、从所述第n个五维光场数据L_n中获取光场多线索图像，包括第n个光场焦点堆栈图像序列F_n＝{F_1n,F_2n,…,F_kn,…,F_Kn}、第n个光场全聚焦图像I_n(x,y)、第n个光场深度图像D_n(x,y)和第n个光场多视角图像序列H_n＝{H_1n,H_2n,…,H_qn,…,H_Qn}；其中，F_kn表示第n个五维光场数据L_n中第k个焦平面图像；H_qn表示第n个五维光场数据L_n中第q个视角图像；1≤k≤K；1≤q≤Q；

步骤3、提取所述第n个光场全聚焦图像I_n(x,y)中的超像素，并计算任意超像素对之间的色彩差异特征

3.1、利用简单线性迭代聚类算法对所述第n个光场全聚焦图像I_n(x,y)进行超像素分割，获得一组超像素，记为sp_n＝{sp_1n,sp_2n,…,sp_in,…,sp_Mn}，1≤i≤M；M表示所述第n个光场全聚焦图像I_n(x,y)的超像素个数；其中sp_in表示所述第n个光场全聚焦图像I_n(x,y)中第i个超像素；且p_rin表示所述第n个光场全聚焦图像I_n(x,y)中第i个超像素中的第r个像素，且R_i表示所述第n个光场全聚焦图像I_n(x,y)中第i个超像素所包含的像素个数；

3.2、将所述第n个光场全聚焦图像I_n(x,y)所在的RGB彩色空间转换到CIE>in在亮度L、红绿对立色a和蓝黄对立色b三个色彩通道上的均值，从而构成所述第i个超像素sp_in的光场色彩特征

3.3、利用式(1)计算第i个超像素sp_in和第j个超像素sp_jn之间的色彩差异特征1≤j≤M；

$S_{ijn}^{cohr}={||{\mu }_{in}^{cohr}-{\mu }_{jn}^{cohr}||}_2---\left(1\right)$

步骤4、计算所述第n个光场全聚焦图像I_n(x,y)中任意超像素对之间的位置差异特征

4.1、利用式(2)计算第i个超像素sp_in在所述第n个光场全聚焦图像I_n(x,y)中的空间归化中心位置特征

${\mu }_{in}^{pos}=[\frac{{\mu }_{in}^{row}}{h},\frac{{\mu }_{in}^{col}}{w}]---\left(2\right)$

式(2)中：和分别为第i个超像素sp_in中所有像素在所述成像传感器像平面中的横坐标均值和纵坐标均值；

4.2、利用式(3)计算第i个超像素sp_in和第j个超像素sp_jn之间的中心位置差异特征

$S_{ijn}^{ss}=\exp (-\frac{{||{\mu }_{in}^{pos}-{\mu }_{jn}^{pos}||}_2^2}{2{\left({\sigma }^c\right)}^2})---\left(3\right)$

式(3)中：σ^c为高斯函数的空间权重；

4.3、利用基于聚焦信息的背景先验建模算法，从第n个光场焦点堆栈图像序列F_n中选取具有最大背景似然分数的焦平面图像计算所述具有最大背景似然分数的焦平面图像所对应的一组超像素中第i个超像素sp_in的背景概率

4.4、利用式(4)计算所述第n个光场全聚焦图像I_n(x,y)的质心与第i个超像素sp_in的空间归一化中心位置之间的距离d_in：

$d_{in}={||{\mu }_n^c-{\mu }_{in}^{pos}||}_2---\left(4\right)$

4.5、利用式(5)计算所述第n个光场全聚焦图像I_n(x,y)中第i个超像素sp_in的区域位置特征

$S_{in}^{sr}=1-\exp (-\frac{{\left({\mu }_{in}^{bg}\right)}^2{d}_{in}}{2{\left({\sigma }^{bg}\right)}^2})---\left(5\right)$

式(6)中：σ^bg为另一个高斯函数的空间权重；

4.6、利用式(6)计算所述第n个光场全聚焦图像I_n(x,y)中第i个超像素sp_in和第j个超像素sp_jn之间的位置差异特征

$S_{ijn}^{pos}=S_{ijn}^{ss}\otimes S_{in}^{sr}---\left(6\right)$

式(6)中，表示向量的外积；

步骤5、计算所述第n个光场深度图像D_n(x,y)中任意超像素对之间的深度差异特征

5.1、计算第i个超像素sp_in在所述第n个光场深度图像D_n(x,y)上的均值，从而获得所述第i个超像素sp_in的光场深度特征

5.2、利用式(7)计算第i个超像素sp_in和第j个超像素sp_jn之间的深度差异特征

$S_{ijn}^{depth}={||{\mu }_{in}^{depth}-{\mu }_{jn}^{depth}||}_2---\left(7\right)$

步骤6、计算所述第n个光场焦点堆栈图像序列F_n中任意超像素对之间的聚焦流差异特征

6.1、利用光流算法提取所述第n个光场焦点堆栈图像序列F_n中第k个焦平面图像F_kn与第k+1个焦平面图像F_(k+1)n之间的聚焦流水平特征和聚焦流垂直特征

6.2、利用式(8)计算所述聚焦流水平特征和聚焦流垂直特征的振幅

$E_{uv(k,k+1)n}^{ff}=\sqrt{{\left(E_{u(k,k+1)n}^{ff}\right)}^2+{\left(E_{v(k,k+1)n}^{ff}\right)}^2}---\left(8\right)$

6.3、利用式(9)计算第n个光场焦点堆栈图像序列F_n中所有相邻焦平面图像之间的聚焦流特征均值

$E_n^{ff}=\frac{1}{K-1}\underset{k=1}{\overset{K-1}{\Sigma }}{E}_{uv(k,k+1)n}^{ff}---\left(9\right)$

6.4、计算第i个超像素sp_in在所述聚焦流特征均值上的均值，从而获得所述第i个超像素sp_in的光场聚焦流特征

6.5、利用式(10)计算所述第n个光场焦点堆栈图像序列F_n中第i个超像素sp_in和第j个超像素sp_jn之间的聚焦流差异特征

$S_{ijn}^{focusflow}={||{\mu }_{in}^{focusflow}-{\mu }_{jn}^{focusflow}||}_2---\left(10\right)$

步骤7、计算所述第n个光场多视角图像序列H_n中任意超像素对之间的视角流差异特征

7.1、利用光流算法提取第n个光场多视角图像序列H_n中第q个视角图像H_qn与第q+1个视角图像H_(q+1)n的视角流水平特征和视角流垂直特征

7.2、利用式(11)计算所述视角流水平特征和视角流垂直特征的振幅

$E_{uv(q,q+1)n}^{vf}=\sqrt{{\left(E_{u(q,q+1)n}^{vf}\right)}^2+{\left(E_{v(q,q+1)n}^{vf}\right)}^2}---\left(11\right)$

7.3、利用式(12)计算第n个光场多视角图像序列Η_n中所有相邻视角图像之间的视角流特征均值

$E_n^{vf}=\frac{1}{Q-1}\underset{q=1}{\overset{Q-1}{\Sigma }}{E}_{uv(q,q+1)n}^{vf}---\left(12\right)$

7.4、计算第i个超像素sp_in在所述视角流特征均值上的均值，从而获得所述第i个超像素sp_in的光场视角流特征

7.5、利用式(13)计算第n个光场多视角图像序列H_n中第i个超像素sp_in和第j个超像素sp_jn之间的视角流差异特征

$S_{ijn}^{viewflow}={||{\mu }_{in}^{viewflow}-{\mu }_{jn}^{viewflow}||}_2---\left(13\right)$

步骤8、利用式(14)计算所述第n个光场中第i个超像素sp_in的多线索初始显著结果S_in；

式(14)中：⊙表示向量的内积；为第i个超像素sp_in和第j个超像素sp_jn之间视觉线索的特征差异，为所述第n个光场中第i个超像素sp_in和第j个超像素sp_jn之间线索的权重；为全局归一化算子，并有：

步骤9、优化所述多线索初始显著结果S_in；

9.1、利用基于非线性最小二乘回归的显著性优化算法，对所述多线索初始显著结果S_in进行优化，获得第一次优化显著结果S′_in；

9.2、利用基于无向图正则化的显著性优化算法，对所述第一次优化显著结果S′_in进行优化，获得第二次优化显著结果S″_in；

9.3、利用式(15)计算两次优化后的归一化显著结果

与已有技术相比，本发明的有益效果是：

1、本发明利用光场相机采集复杂多变场景的光场五维数据，这些场景包括了多变光照、部分遮挡、相机运动、显著区域较小等难点，充分补充了当前光场显著性数据在数量和难度上的不足，以此获取包含空间、角度和波长信息的全光要素，并从中计算获得具有不同视觉属性的光场焦点堆栈图像序列、多视角图像序列、深度图像和全聚焦图像，其中焦平面图像描述了在不同深度平面上的焦点信息，多视角图像描述了输入光线方向和光强，解决了当前二维或三维显著性提取方法无法获取和使用视觉多线索的缺陷，有效提高了复杂多变场景下的图像显著性提取的精度，以及图像显著性提取的充分性。

2、本发明对具有不同视觉属性的光场图像提取任意超像素对之间的视觉差异特征，获得由色彩、深度、聚焦流、视角流和空间位置驱动的显著性区域，有效利用了不同视觉线索的互补性，提高了图像显著性提取的准确性，可以在光场技术中进行很好地应用。

3、本发明分别提取光场焦点堆栈图像序列和光场多视角图像序列的平均场景流特征，在一定程度上保留了焦点和视角局部变化处的深度不连续性和颜色对比度，部分估计了深度位移，有效提取了由不规则聚焦流和视角流方向和振幅引起的显著区域，提高了光场流特征在显著性提取中的作用。

4、本发明对多线索初始显著结果进行两步优化，利用前景和背景约束精化显著区域的局部轮廓，利用超像素之间的拓扑关系构建无向图，均匀地增强了显著区域，抑制了背景。

附图说明

图1为本发明的显著性提取方法工作流程图；

图2a为本发明方法进行显著性提取时获取的一幅光场全聚焦图像；

图2b为本发明方法进行显著性提取时获取的一幅光场深度图像；

图2c为本发明方法进行显著性提取时获取的三幅光场焦平面图像；

图2d为本发明方法进行显著性提取时获取的三幅光场多视角图像；

图3a为本发明方法进行显著性提取时获取的色彩显著性效果图；

图3b为本发明方法进行显著性提取时获取的深度显著性效果图；

图3c为本发明方法进行显著性提取时获取的聚焦流显著性效果图；

图3d为本发明方法进行显著性提取时获取的视角流显著性效果图；

图3e为本发明方法进行显著性提取时获取的空间位置显著性效果图；

图3f为本发明方法进行显著性提取时获取的多线索加权求和显著性效果图；

图3g为本发明方法进行显著性提取时获取的空间位置加权的多线索初始显著性效果图；

图3h为本发明方法进行显著性提取时获取的优化后显著性效果图；

图4为本发明方法以“查全率/查准率曲线”为度量标准，在利用Lytro相机采集的数据集上，与当前其他光场显著性提取方法进行量化对比的分析图。

具体实施方式

本实施例中，一种基于光场相机的多线索显著性提取方法主要用于物体跟踪与识别、异常检测等应用中。本发明方法的特点是利用新型光场相机一次曝光同时获取焦点堆栈序列、多视角序列、全聚焦和深度图像，对全聚焦图像提取紧凑的超像素分割块，将其作为显著性度量的基本要素，从色彩、深度、场景流和空间位置等方面计算任意超像素对之间的欧式距离，度量不同视觉线索的显著性特征，为不同显著性特征赋予权重后整合为各超像素唯一的显著度，最终提取图像的显著图。

如图1所示，本实施例中，光场相机包括一个主透镜、一个微透镜阵列和一个成像传感器；一种基于光场相机的多线索显著性提取方法按如下步骤进行：

步骤1、利用光场相机采集真实场景的五维光场数据集，记为L＝{L₁,L₂,…,L_n,…,L_N}；L_n表示第n个五维光场数据，且L_n＝(x,y,s,t,λ)；x和y分别表示成像传感器像平面的空间分辨率；s和t分别表示微透镜阵列像平面的角度分辨率；λ为波长；1≤n≤N；

在本实验测试中，所使用的光场相机为Lytro相机，其传感器像平面坐标系为XOY，微透镜阵列像平面为SOT；在室内和室外多种不同光照条件下获取复杂场景，五维光场数据个数N＝255，空间分辨率为328×328，角度分辨率为7×7，波长λ＝3，表示彩色图像的红色R、绿色G、蓝色B三个通道。

步骤2、从第n个五维光场数据L_n中获取光场多线索图像，包括第n个光场焦点堆栈图像序列F_n＝{F_1n,F_2n,…,F_kn,…,F_Kn}、第n个光场全聚焦图像I_n(x,y)、第n个光场深度图像D_n(x,y)和第n个光场多视角图像序列H_n＝{H_1n,H_2n,…,H_qn,…,H_Qn}；其中，F_kn表示第n个五维光场数据L_n中第k个焦平面图像；H_qn表示第n个五维光场数据L_n中第q个视角图像；1≤k≤K；1≤q≤Q；

光场聚焦图像是利用数字重聚焦原理从五维光场数据中获取一系列聚焦在场景不同区域的图像序列。数字重聚焦原理是指根据光线直线传播原理和三角形相似性原理，把光场图像上的像素投影到主透镜重聚焦像平面上，然后通过积分成像原理将同一位置处的光线进行积分获得主透镜重聚焦图像。具体方法可参考论文“Light Field Photography with a Hand-held Plenoptic Camera”，文章于2005年作为斯坦福大学计算机科学技术报告发表，论文编号：CTSR2005-02；

光场全聚焦图像是通过确定使焦点堆栈图像中的每个微小区域最清晰的调焦系数，融合焦平面图像而生成的彩色图像。具体方法可参考论文“Interactive digital photomontage”，文章于2004年发表在期刊《ACM Transactions on Graphics》23卷3期294-302页；

多视角图像是指同一场景在不同视角捕获的图像。在光场参数空间中，固定任意一个角度坐标轴s，在所有空间坐标(x,y)中连续变化另一个角度坐标轴t，便可得到光场的一组多视角图像。连续地变化角度坐标轴s，则可获得该光场空间中所有不同视角的图像。具体方法可参考论文“Multi-Perspective Stereoscopy from Light Fields”，文章于2011年发表在期刊《ACM Transactions on Graphics》30卷6期190:1-190:10页；

深度图像中任意一点代表场景中该点到相机中心所在平面的距离，反映了场景中物体的三维几何信息。具体方法可参考论文“Flexible depth of field photography”，文章于2008年发表在欧洲计算机视觉会议(ECCV)论文集60-73页。

步骤3、提取第n个光场全聚焦图像I_n(x,y)中的超像素，并计算任意超像素对之间的色彩差异特征

3.1、利用简单线性迭代聚类算法对第n个光场全聚焦图像I_n(x,y)进行超像素分割，获得一组超像素，记为sp_n＝{sp_1n,sp_2n,…,sp_in,…,sp_Mn}，1≤i≤M；M表示第n个光场全聚焦图像I_n(x,y)的超像素个数；其中sp_in表示第n个光场全聚焦图像I_n(x,y)中第i个超像素；且p_rin表示第n个光场全聚焦图像I_n(x,y)中第i个超像素中的第r个像素，且R_i表示第n个光场全聚焦图像I_n(x,y)中第i个超像素所包含的像素个数；

简单线性迭代聚类算法是将RGB彩色图像转换至CIE Lab色彩空间，利用亮度L、红绿对立色a、蓝黄对立色b、x坐标和y坐标组成五维特征向量，对该向量构造距离准则，进行局部聚类，形成紧凑、近似均匀的超像素。简单线性迭代聚类算法的优势在于，通过加权距离函数合并了颜色和空间邻近像素，控制了超像素大小和紧凑程度，通过减少搜索空间提升了分割效率。在实验测试中，M＝400。具体方法可参考论文“SLIC superpixels compared to state-of-the-art superpixel methods”，文章于2012年发表在期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence》34卷11期2274-2282页。

3.2、将第n个光场全聚焦图像I_n(x,y)所在的RGB彩色空间转换到CIE>in在亮度L、红绿对立色a和蓝黄对立色b三个色彩通道上的均值，从而构成第i个超像素sp_in的光场色彩特征

3.3、利用式(1)计算第i个超像素sp_in和第j个超像素sp_jn之间的色彩差异特征1≤j≤M；

$S_{ijn}^{cohr}={||{\mu }_{in}^{cohr}-{\mu }_{jn}^{cohr}||}_2---\left(1\right)$

步骤4、计算第n个光场全聚焦图像I_n(x,y)中任意超像素对之间的位置差异特征

4.1、利用式(2)计算第i个超像素sp_in在第n个光场全聚焦图像I_n(x,y)中的空间归一化中心位置特征

${\mu }_{in}^{pos}=[\frac{{\mu }_{in}^{row}}{h},\frac{{\mu }_{in}^{col}}{w}]---\left(2\right)$

式(2)中：和分别为第i个超像素sp_in中所有像素在成像传感器像平面中的横坐标均值和纵坐标均值；在实验测试中，h＝360，w＝360。

4.2、利用式(3)计算第i个超像素sp_in和第j个超像素sp_jn之间的中心位置差异特征

$S_{ijn}^{ss}=\exp (-\frac{{||{\mu }_{in}^{pos}-{\mu }_{jn}^{pos}||}_2^2}{2{\left({\sigma }^c\right)}^2})---\left(3\right)$

式(3)中：σ^c为高斯函数的空间权重；在实验测试中，σ^c＝2/3。

4.3、利用基于聚焦信息的背景先验建模算法，从第n个光场焦点堆栈图像序列F_n中选取具有最大背景似然分数的焦平面图像计算具有最大背景似然分数的焦平面图像所对应的一组超像素中第i个超像素的背景概率

4.4、利用式(4)计算第n个光场全聚焦图像I_n(x,y)的质心与第i个超像素sp_in的空间归一化中心位置之间的距离d_in：

$d_{in}={||{\mu }_n^c-{\mu }_{in}^{pos}||}_2---\left(4\right)$

4.5、利用式(5)计算第n个光场全聚焦图像I_n(x,y)中第i个超像素sp_in的区域位置特征

$S_{in}^{sr}=1-\exp (-\frac{{\left({\mu }_{in}^{bg}\right)}^2{d}_{in}}{2{\left({\sigma }^{bg}\right)}^2})---\left(5\right)$

式(6)中：σ^bg为另一个高斯函数的空间权重；在实验测试中，σ^bg＝1。

4.6、利用式(6)计算第n个光场全聚焦图像I_n(x,y)中第i个超像素sp_in和第j个超像素sp_jn之间的位置差异特征

$S_{ijn}^{pos}=S_{ijn}^{ss}\otimes S_{in}^{sr}---\left(6\right)$

式(6)中，表示向量的外积；

步骤5、计算第n个光场深度图像D_n(x,y)中任意超像素对之间的深度差异特征

5.1、计算第i个超像素sp_in在第n个光场深度图像D_n(x,y)上的均值，从而获得第i个超像素sp_in的光场深度特征

5.2、利用式(7)计算第i个超像素sp_in和第j个超像素sp_jn之间的深度差异特征

$S_{ijn}^{depth}={||{\mu }_{in}^{depth}-{\mu }_{jn}^{depth}||}_2---\left(7\right)$

步骤6、计算第n个光场焦点堆栈图像序列F_n中任意超像素对之间的聚焦流差异特征

6.1、利用光流算法提取第n个光场焦点堆栈图像序列F_n中第k个焦平面图像F_kn与第k+1个焦平面图像F_(k+1)n之间的聚焦流水平特征和聚焦流垂直特征

光流算法通过检测图像像素点的强度随时间的变化推断出物体移动速度和方向的方法，拓展到焦点堆栈序列可获取不同焦平面的局部变化，一定程度上能够预估不同焦平面处的深度不连续处及显著区域存在的位置。具体方法可参考论文“Beyond Pixels:Exploring New Representations and Applications for Motion Analysis”，文章于2009年作为麻省理工学院博士学位论文发表。

6.2、利用式(8)计算聚焦流水平特征和聚焦流垂直特征的振幅

$E_{uv(k,k+1)n}^{ff}=\sqrt{{\left(E_{u(k,k+1)n}^{ff}\right)}^2+{\left(E_{v(k,k+1)n}^{ff}\right)}^2}---\left(8\right)$

6.3、利用式(9)计算第n个光场焦点堆栈图像序列F_n中所有相邻焦平面图像之间的聚焦流特征均值

$E_n^{ff}=\frac{1}{K-1}\underset{k=1}{\overset{K-1}{\Sigma }}{E}_{uv(k,k+1)n}^{ff}---\left(9\right)$

6.4、计算第i个超像素sp_in在聚焦流特征均值上的均值，从而获得第i个超像素sp_in的光场聚焦流特征

6.5、利用式(10)计算第n个光场焦点堆栈图像序列F_n中第i个超像素sp_in和第j个超像素sp_jn之间的聚焦流差异特征

$S_{ijn}^{focusflow}={||{\mu }_{in}^{focusflow}-{\mu }_{in}^{focusflow}||}_2---\left(10\right)$

步骤7、计算第n个光场多视角图像序列H_n中任意超像素对之间的视角流差异特征

7.1、利用光流算法提取第n个光场多视角图像序列H_n中第q个视角图像H_qn与第q+1个视角图像H_(q+1)n的视角流水平特征和视角流垂直特征

7.2、利用式(11)计算视角流水平特征和视角流垂直特征的振幅

$E_{uv(q,q+1)n}^{vf}=\sqrt{{\left(E_{u(q,q+1)n}^{vf}\right)}^2+{\left(E_{v(q,q+1)n}^{vf}\right)}^2}---\left(11\right)$

7.3、利用式(12)计算第n个光场多视角图像序列Η_n中所有相邻视角图像之间的视角流特征均值

$E_n^{vf}=\frac{1}{Q-1}\underset{q=1}{\overset{Q-1}{\Sigma }}{E}_{uv(q,q+1)n}^{vf}---\left(12\right)$

7.4、计算第i个超像素sp_in在视角流特征均值上的均值，从而获得第i个超像素sp_in的光场视角流特征

7.5、利用式(13)计算第n个光场多视角图像序列H_n中第i个超像素sp_in和第j个超像素sp_jn之间的视角流差异特征

$S_{ijn}^{viewflow}={||{\mu }_{in}^{viewflow}-{\mu }_{jn}^{viewflow}||}_2---\left(13\right)$

步骤8、利用式(14)计算第n个光场中第i个超像素sp_in的多线索初始显著结果S_in；

式(14)中：⊙表示向量的内积；为第i个超像素sp_in和第j个超像素sp_jn之间视觉线索的特征差异，为第n个光场中第i个超像素sp_in和第j个超像素sp_jn之间线索的权重；为全局归一化算子，并有：在实验测试中，色彩、深度、聚焦流和视角流权重分别为0.50、0.17、0.23和0.10。

步骤9、优化多线索初始显著结果S_in；

9.1、利用基于非线性最小二乘回归的显著性优化算法，对多线索初始显著结果S_in进行优化，获得第一次优化显著结果S′_in；

基于非线性最小二乘回归的显著性优化算法是将显著区域值置1，背景区域值置0，定义含有均方误差的背景项、前景项和平滑项的损失函数，利用最小二乘法优化初始显著结果，获得更为清晰的二值目标和背景分割结果。其中，背景项使得具有较大背景概率的超像素具有较小显著值，前景项使得具有较大前景概率的超像素具有较大显著值，平滑项使得相邻超像素具有连续的显著值。具体方法可参考论文“Saliency Optimization from Robust Background Detection”，文章于2014年发表于计算机视觉与模式识别(CVPR)会议论文集2814-2821页。

9.2、利用基于无向图正则化的显著性优化算法，对第一次优化显著结果S′_in进行优化，获得第二次优化显著结果S″_in；

基于无向图正则化的显著性优化算法是构建包含平滑约束和拟合约束的稀疏连接图，通过最小化基于正则化的能量函数优化显著结果。其中，平滑约束使得邻近像素或分割块具有相同的显著值，从而有效增强显著目标、抑制背景；拟合约束控制优化显著结果与初始显著结果的差异。具体方法可参考论文“Graph-Regularized Saliency Detection With Convex-Hull-Based CenterPrior”，文章于2013年发表在期刊《Signal Processing Letters》20卷7期637-640页。

9.3、利用式(15)计算两次优化后的归一化显著结果

图2a、图2b、图2c和图2d为本方法使用的Lytro光场相机采集真实场景五维数据所获取的全聚焦图像、深度图像、焦点堆栈图像和多视角图像实例。图3a、图3b、图3c、图3d、图3e、图3f、图3g和图3h为本方法的光场显著性提取方法对给定一组光场图像，获取的色彩显著性、深度显著性、聚焦流显著性、视角流显著性、空间位置显著性、多线索加权求和显著性和空间位置加权后，以及经过两次优化后的最终显著性的视觉效果。图4为本方法的光场显著性提取方法以“查全率/查准率曲线”为度量标准，与当前其他光场显著性提取方法进行量化对比的分析图。图4中，Ours表示本发明的光场显著性提取方法；Zhang et al.表示基于色彩、深度和背景先验的光场显著性提取方法；WSC表示基于稀疏编码理论的光场显著性提取方法；LFS表示基于目标和背景建模的显著性提取方法。3种方法均在本发明使用的Lytro光场相机采集的真实场景图像集上进行测试。由图4的定量曲线图可见，本发明方法表现出“查全率/查准率曲线”靠近右上角，且当查全率相同时，错检概率较低。

表1为本发明的光场显著性提取方法以“F-measure”和“平均绝对值误差MAE”为度量标准，并利用Lytro相机采集的数据集，与当前其他光场显著性提取方法进行量化对比的分析表，“F-measure”是“查全率/查准率曲线”度量的统计指标，其值越接近1，表明显著性提取的效果越好，“MAE”度量了显著性提取结果与真实结果的平均绝对差异程度，其值越接近0，表明显著性提取的效果越好。

表1

显著性提取方法OursZhang et al.WSCLFSF-measure0.60950.55370.55250.4880MAE0.13880.15780.14540.2214

由表1的定量分析表可见，本发明方法获得的“F-measure”和“MAE”均高于其他光场显著性提取方法。

以上，仅为本发明较佳的一种实施方式，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或相关参数改变，都应涵盖在本发明的保护范围之内。