技术领域
本公开一般涉及光场(LF)内容(例如LF图像或视频)领域。
更具体地，本公开涉及用于估计属于LF内容中的图像的像素的深度的方法。
在使用LF捕获的任何领域中，对于专业人员和消费者来说，本公开都是感兴趣的。
背景技术
LF内容包括以下两者之一：
-全景视频，也称为基于微透镜的视频，即在视频中，其中属于图像矩阵的图像是子孔径图像，所述子孔径图像是从使用主透镜系统之外的微透镜阵列的单个相机(例如全景相机)同时捕获的；或
-多视点视频，即在视频中，其中属于图像矩阵的图像是从多个相机角度同时捕获的，通常使用由多个相机组成的相机阵列(也称为相机组)。
LF内容中的像素的深度估计绝大部分时间减少到基于从两个不同视点捕获相同场景的至少两个视图的可用性、对属于通常用于确定这种深度的已知技术(例如匹配技术)的LF内容的每个视图的复制。
然而，基于使用两个不同视图的方法无法给出可靠的结果，例如在发生遮挡的特定情况下。实际上，在这种情况下，由给定视点捕获的场景的一部分可能没有被另一个视点捕获。在这种情况下，无法确定深度，或者通过此类已知算法返回异常值。
已经提出了一些提议，用于使用LF内容中最大数量的可用视点以便在深度估计中获得更可靠的结果(例如，当发生遮挡时)，如H.Zhu，Q.Wang和J.Yu在IEEE《信号处理精选主题期刊》第11卷第7期第965-978页，2017年10月的论文“光场中遮挡模型引导的抗遮挡深度估计”。然而，这种方法仍然可以被改进。
因此，需要一种方法，该方法利用与LF内容中的不同视点相关的信息来估计具有强制一致性的像素的深度，特别是在存在遮挡的情况下。
还需要有这样的方法，其允许估计的深度具有高质量。
发明内容
本公开涉及一种用于估计光场内容的M个图像的矩阵中的像素的深度的方法，其中M＞2。这种方法包括至少对于在所述M个图像中取出的N个图像的一个集合实施一种处理，2＜N≤M，所述处理包括：
-确定所述N个图像的集合中的所述图像的深度图，以提供N个深度图的集合；以及
-对于所述N个图像的集合的当前图像中的至少一个当前像素：
-确定与所述N个深度图的集合的深度图中的所述当前像素相关联的深度值对应的候选深度是否与所述N个深度图的集合中的其他深度图一致；以及
-如果所述候选深度被确定为与所述N个深度图的集合中的所述其他深度图一致，则选择所述候选深度作为所述当前像素的估计深度。
所述处理被迭代地执行，所述处理的每一次新的迭代都以新的N值执行，所述新的N值低于所述处理的先前迭代中使用的先前的N值。
本公开的另一方面是关于一种用于估计光场内容的M个图像的矩阵中的像素的深度的设备，其中M＞2。这种设备包括处理器或专用计算机器，所述处理器或所述专用计算机器被配置为至少对于在所述M个图像中取出的N个图像的一个集合执行一种处理，2＜N≤M，所述处理包括：
-确定所述N个图像的集合中的所述图像的深度图，以提供N个深度图的集合；以及
-对于所述N个图像的集合的当前图像中的至少一个当前像素：
-确定与所述N个深度图的集合的深度图中的所述当前像素相关联的深度值对应的候选深度是否与所述N个深度图的集合中的其他深度图一致；以及
-如果所述候选深度被确定为与所述N个深度图的集合中的所述其他深度图一致，则选择所述候选深度作为所述当前像素的估计深度。
所述处理被迭代地执行，所述处理的每一次新的迭代都以新的N值执行，所述新的N值低于所述处理的先前迭代中使用的先前的N值。
此外，本公开涉及一种非暂时性计算机可读介质，其包括记录在其上并且能够由处理器运行的计算机程序产品，所述计算机程序产品包括程序代码指令，所述程序代码指令包括用于实现先前所述的用于估计光场内容的M个图像的矩阵中的像素的深度的方法的程序代码指令。
附图说明
实施例的其他特征和优点将从以下描述和附图中显现，以下描述通过指示性和非穷尽性的示例给出，其中：
图1示出了根据一个实施例的LF内容的图像矩阵；
图2a和2b各自示出了根据一个实施例的多个图像(或角度块)的集合；
图3a和3b各自示出了根据一个实施例的多个像素空间块；
图4示出了根据一个实施例的用于估计图1的图像矩阵中的像素的深度的方法的流程图；
图5示出了根据一个实施例的对应于图1的图像矩阵中的不同图像的从一个视点到另一个视点的变化；以及
图6示出了可用于实现图4的方法的示例性设备。
具体实施方式
在本文件的所有附图中，相同的数字参考符号表示相似的元素和步骤。
现在，我们结合图1描述根据一个实施例的LF内容的图像矩阵100mi。
图像矩阵100mi包括由LF捕获系统同时(即在给定时刻)捕获的四个图像。在其它实施例中，图像矩阵包括由LF捕获系统同时捕获的大于两个的任意数量的图像。
回到图1，图像矩阵100mi中的每个图像对应同一场景的不同视图。从这个意义上说，图像和相应的视图之间是等价的。例如，这种LF捕获系统是相机阵列(或相机组)，并且每个图像由相机阵列的不同相机拍摄。在其它示例中，LF捕获系统是全景相机，并且属于图像矩阵的图像是子孔径图像。
在属于图像矩阵100mi的图像中，存在当前图像100ci和属于当前图像100ci的当前像素100cp。在下文中，我们假设尚未估计当前像素100cp的深度，以便以当前像素100cp作为示例，以详细说明根据下面结合图4讨论的本公开的用于估计像素深度的方法的步骤。
现在，我们结合图2a描述根据一个实施例的图像组200N的多个图像组200pN。
多个图像组200pN中的每组图像200N(也称为“角度块”)包括在图像矩阵100mi的4个图像中取出的3个不同的图像(以深灰色描绘)。
这样的图像组200N和这样的图像组200N的多个图像组200pN被用在下面结合图4讨论的根据本发明的用于估计像素深度的方法中。
在本实施例中，多个图像组200pN包括四个图像组200N。在其他实施例中，根据本公开的用于估计像素深度的方法依赖于包括不同于三个图像的图像组，并且多个图像组包括不同于四个的数量的图像组。例如，在图2b所示的实施例中，多个图像组200pN'的每组图像200N'包括在图像矩阵100mi的四个图像中取出的两个不同的图像(仍用深灰色表示)。多个图像组200pN'包括六个图像组200N’。
现在，我们结合图3a描述根据一个实施例的像素空间块300P的多个像素空间块300pP。
多个像素空间块300pP中的每个像素空间块300P包括在当前图像100ci中的当前像素100cp的邻域中取出的八个不同像素。空间邻域通常由奇数边长的正方形空间块组成，以所考虑的当前像素100cp为中心。
这种像素空间块300P的集合和这种像素空间块300P的多个像素空间块300pP被用在下面结合图4讨论的用于估计像素深度的方法的一些实施例中。
在本实施例中，多个像素空间块300pP包括四个像素空间块300P。在其他实施例中，根据本公开的用于估计像素深度的方法使用包括不同于八个的数量的像素的像素空间块，并且所述多个像素空间块包括不同于四个的数量的像素空间块。例如，在图3b所示的实施例中，多个像素空间块300pP'的每个像素空间块300P'包括在当前图像100ci中的当前像素100cp的邻域中取出的七个不同像素。多个像素空间块300pP’包括十四个像素空间块300P’。
我们现在结合图4描述根据一个实施例的用于估计图像矩阵100mi中像素的深度的方法的步骤。
用于估计图像矩阵100mi中像素的深度的方法至少包括：对于在图像矩阵100mi的M个图像中取出的并且包括当前图像100ci的N个图像的集合(在图1的实施例中，M＝4。然而，正如以上所讨论的，对于应用本方法，可以考虑大于2的M的任何值)，其中2 -在步骤S400中，确定所述N个图像的集合中的图像的深度图，以提供N个深度图的集合；以及 -对于当前图像100ci中深度尚未被估计的至少当前像素100cp： -在步骤S410中，确定所述N个深度图的集合的深度图中与当前像素100cp相关联的深度值所对应的候选深度是否与所述N个深度图的集合中的其他深度图一致；以及 -在步骤S420中，如果所述候选深度被确定为与所述N个深度图的集合中的其他深度图一致，则选择所述候选深度作为当前像素100cp的估计深度， 所述处理被迭代地执行，所述处理的每一次新的迭代都以新的N值执行，所述新的N值低于所述处理的先前迭代中使用的先前的N值。 因此，当前像素100cp的深度的估计是基于每次迭代涉及不同图像集的迭代处理。因此，使用图像矩阵100mi中的所有可用信息，以便即使在存在遮挡的情况下也能实现可靠的深度估计。此外，对于处理的迭代，依次考虑包括图像数目减少的图像集。因此，第一次确定为一致的深度对应于基于LF内容中的最大数量的图像估计的深度。这允许结果中的更高的质量。 在其他实施例中，不仅对当前图像100ci中的当前像素100cp，而且对尚未估计深度的N个图像的集合中的每个图像的每个像素，执行步骤S410和步骤S420。 在其他实施例中，其中N 回到图4，为了确定当前像素100cp的候选深度是否与其他深度图一致，步骤S410包括步骤S410a，在步骤S410a中确定当前像素100cp的候选深度与N个深度图的集合的其他深度图之间的几何一致性。视图之间的几何一致性标准允许确定一个深度值，该深度值对应于所考虑的所有视图的一致性重构三维场景。 这种几何一致性的推导通过图5所示的示例来说明。 LF捕获系统的四个相机中仅两个相机501，502捕获图像矩阵100mi，如图5所示。更具体地，相机501捕获与视图编号#c相对应的当前图像100ci，并且相机502捕获图像矩阵100mi中不同于当前图像100ci的另一图像。所考虑的另一个图像对应于视图编号#c’。 设 当漂移矢量
换句话说，在图4的实施例中，步骤S410a包括： -步骤S410a1，其中确定N个图像的集合中不同于前图像100ci的另一图像中的理论位置502tl。理论位置对应于与当前像素100cp和候选深度相关联的对象点510在另一图像中的投影； -步骤S410a2，其中基于与N个深度图的集合中的另一图像相关联的深度图，获得与理论位置502tl相关联的深度值；以及 -步骤S410a3，其中在当前图像100ci中，确定与理论位置502tl和深度值相关联的另一对象点520在当前图像100ci中的投影所对应的另一理论位置501atl。 当当前图像中当前像素100cp和另一理论位置501atl之间的距离低于预定阈值时，当前像素100cp的候选深度被确定为一致的(例如，预定阈值是当前图像中像素大小的一半)。 在其它实施例中，其中N＞3，对N个图像的集合中除当前图像100ci之外的所有其它图像执行步骤S410a1，以提供相应的理论位置的集合。对理论位置的集合中的所有理论位置执行步骤S410a2，以提供对应的深度集合。对于理论位置集合中的所有理论位置和深度值集合中的所有相关联深度值执行步骤S410a3，以提供当前图像100ci中的另一理论位置的集合。当当前像素100cp和另一理论位置之间的距离低于预定阈值时，当前像素100cp的候选深度被确定为是一致的。因此，一致性基于图像矩阵的所有图像中存在的信息。 回到图4，步骤S410还包括步骤S410b，其中确定当前像素100cp和理论位置502tl之间的光度一致性。 例如，光度一致性可通过理论位置502tl处其他图像内颜色分布的标准差来衡量：
其中z 在步骤S410a中确定的几何一致性和在步骤S410b中确定的光度一致性被组合，以确定与当前像素100cp相关联的候选深度是否与N个深度图的集合中的其它深度图一致。例如，这种组合依赖于K.Wolff等人提出的方法，“基于图像的3D重构的点云噪声和异常点去除(Point Cloud Noise and Outlier Removal for Image-Based 3D Reconstruction)”，2016年第四届3D视觉(3DV)国际会议，加利福尼亚州，斯坦福，2016年，第118-127页。 在其它实施例中，在步骤S410中，仅使用几何一致性准则来确定当前像素100cp的候选深度是否与其它深度图一致。 在其它实施例中，仅使用光度一致性准则来确定当前像素100cp的候选深度是否与其它深度图一致。 在其它实施例中，图像矩阵100mi的图像之间的任何其它一致性准则被用于确定当前像素100cp的候选深度是否与其它深度图一致。 回到图4，为了确定N个图像的集合中的图像的深度图，步骤S400至少对当前像素100cp执行以下项之间的匹配技术，以在与当前图像100ci相关联的深度图中提供与当前像素100cp相关联的候选深度： -在当前像素100cp的邻域中取出的当前图像100ci的P像素的空间块，P≤Pmax，其中Pmax是当前图像100ci中的像素总数；和 -P像素的空间块在N个图像集合中不同于当前图像100ci的至少另一图像中的投影， 步骤S400被迭代执行，用新的P值执行步骤S400的每次新的迭代，新的P值小于在步骤S400的先前迭代中使用的先前的P值。 因此，深度图的确定基于对LF内容的图像中所有可用信息的使用。此外，对于依次的迭代，依次考虑像素数量递减的像素空间块。因此，第一次确定的深度图中的深度值对应于基于LF内容的图像中的最大像素数量确定的深度值。这允许提高结果中的质量。 在一个实施例中，例如，如上文结合图5公开的，基于LF捕获系统的相机的针孔模型，使用相同的投影机制获得在除当前图像100ci之外的至少另一个图像中的P像素的空间块的投影。 在一些实施例中，其中P 因此，对于为了确定深度图所考虑的像素的给定大小的块，保留提供最佳置信水平的像素块，以用于确定所讨论的深度图。 在一些实施例中，匹配技术根据以下执行代价函数E
其中D 在这种情况下，匹配技术的依次执行进一步提供代价函数E -最小值集合中的最小值m -最小值集合中的最小值m 在一些实施例中，代价函数E
其中， -Ω -Ω -|Ω|是集合Ω的基数；并且 -‖.‖ 并且其中，(i′,j′,z′)是通过视图#c和#c’之间的单应性H 在一些实施例中，代价函数E
其中‖.‖ 在一些实施例中，代价函数E
其中，对三个分量R、G和B进行求和，并且其中：
其中： - - 图6示出了根据本公开(根据上述公开的任何实施例)的可用于估计光场内容的图像矩阵中的像素的深度的设备600的特定实施例的结构块。 在本实施例中，用于实现所公开方法的设备600包括非易失性存储器603(例如只读存储器(ROM)或硬盘)、易失性存储器601(例如随机存取存储器或RAM)和处理器602。非易失性存储器603是非暂时性的计算机可读载体介质。它存储可执行程序代码指令，该可执行程序代码指令由处理器602执行，以便能够在上面结合图4公开的各种实施例中实现上述方法(用于估计光场内容的图像矩阵中的像素的深度的方法)。 在初始化时，上述程序代码指令从非易失性存储器603提供到易失性存储器601以便由处理器602执行。易失性存储器601同样包括用于存储该执行所需的变量和参数的寄存器。 根据本公开的用于估计光场内容的图像矩阵中的像素的深度的上述方法的所有步骤可以同样地通过以下方式实现： ·通过执行可重编程计算机(如PC型装置、DSP(数字信号处理器)或微控制器)执行的程序代码指令集。该程序代码指令可以存储在非暂时性计算机可读载体介质中，该载体介质是可拆卸的(例如软盘、CD-ROM或DVD-ROM)或不可拆卸的；或 ·通过专用机器或组件，如FPGA(现场可编程门阵列)、ASIC(专用集成电路)或任何专用硬件组件。 换言之，本公开不限于以计算机程序指令的形式的纯粹基于软件的实现，还可以以硬件形式或结合硬件部分和软件部分的任何形式来实现。 根据一个实施例，提出了一种方法，该方法用于估计光场内容的M个图像的矩阵中的像素的深度，其中M＞2。该方法包括至少针对在所述M个图像中取出的N个图像的一个集合的一种处理，2＜N≤M，所述处理包括： -确定所述N个图像的集合中的所述图像的深度图，以提供N个深度图的集合；以及 -对于所述N个图像的集合的当前图像中的至少一个当前像素： -确定所述N个深度图的集合的深度图中与所述当前像素相关联的深度值所对应的候选深度是否与所述N个深度图的集合中的其他深度图一致；以及 -如果所述候选深度被确定为与所述N个深度图的集合中的所述其他深度图一致，则选择所述候选深度作为所述当前像素的估计深度。 所述处理被迭代地执行，所述处理的每一次新的迭代都以新的N值执行，所述新的N值低于所述处理的先前迭代中使用的先前的N值。 因此，本公开提出了一种新的创造性解决方案，用于利用强制一致性估计光场(LF)内容中像素的深度。 更具体地，像素深度的估计是基于对于每次迭代涉及不同图像集(也称为角度块)的迭代处理。因此，使用LF内容的图像矩阵中可用的所有信息，使得即使在存在遮挡的情况下也实现可靠的深度估计。 此外，对于处理的迭代，依次考虑包括图像数目减少的图像集。因此，第一次确定为一致的深度对应于基于LF内容中的最大数量的图像估计的深度。这允许提高结果的质量。 根据一个实施例，提出了一种设备，该设备用于估计光场内容的M个图像的矩阵中的像素的深度，其中M＞2。该设备包括处理器或专用计算机器，所述处理器或所述专用计算机器被配置为至少对于在所述M个图像中取出的N个图像的一个集合执行一种处理，2＜N≤M，所述处理包括： -确定所述N个图像的集合中的所述图像的深度图，以提供N个深度图的集合；以及 -对于所述N个图像的集合的当前图像中的至少一个当前像素： -确定所述N个深度图的集合的深度图中与所述当前像素相关联的深度值对应的候选深度是否与所述N个深度图的集合中的其他深度图一致；以及 -如果所述候选深度被确定为与所述N个深度图的集合中的所述其他深度图一致，则选择所述候选深度作为所述当前像素的估计深度。 所述处理被迭代地执行，所述处理的每一次新的迭代都以新的N值执行，所述新的N值低于所述处理的先前迭代中使用的先前的N值。 根据一个实施例，对于尚未估计深度的N个图像的集合中的每个图像的每个像素，强制执行所述确定当前像素的候选深度是否一致，以及所述选择当前像素的深度。 根据一个实施例，N 根据一个实施例，N个图像的多个集合包括在M个图像中取出的N个图像的所有集合。 根据一个实施例，所述确定当前像素的候选深度是否一致包括：确定当前像素的候选深度与N个深度图集合中的其他深度图之间的几何一致性。 因此，视图之间的几何一致性准则允许为所有考虑的视图确定对应于一致性重构3D场景的深度值。 根据一个实施例，所述确定几何一致性包括： -确定所述N个图像的集合中与所述当前图像不同的另一图像中的理论位置，所述理论位置对应于与所述当前像素和所述候选深度相关联的对象点在所述另一图像中的投影； -基于与所述N个深度图的集合中的所述另一图像相关联的深度图，获得与所述理论位置相关联的深度值；以及 -在所述当前图像中确定与所述理论位置和所述深度值相关联的另一对象点在所述当前图像中的投影所对应的另一理论位置； -当所述当前图像中所述当前像素和所述另一理论位置之间的距离低于预定阈值时，所述当前像素的所述候选深度被确定为一致的。 根据一个实施例，N>3。针对所述N个图像的集合中除所述当前图像之外的所有其他图像执行所述确定另一图像中的理论位置，以提供相应的理论位置集合。针对所述理论位置集合中的所有理论位置执行所述获得与所述理论位置相关联的深度值，以提供相应的深度值集合。针对所述理论位置集合中的所有理论位置和所述深度值集合中的所有相关联的深度值执行在所述当前图像中确定另一理论位置，以提供所述当前图像中的其它理论位置的集合，当所述当前像素和所述其它理论位置之间的距离低于所述预定阈值(例如，预定阈值是当前图像中像素尺寸的一半)时，所述当前像素的所述候选深度被确定为一致的。 根据一个实施例，确定当前像素的候选深度是否一致还包括：确定当前像素和理论位置之间的光度一致性。 根据一个实施例，所述确定所述N个图像集合中的图像的深度图针对至少所述当前像素执行以下二者之间的匹配技术，以在与所述当前图像相关联的深度图中提供与所述当前像素相关联的所述候选深度： -在所述当前像素的邻域中取出的所述当前图像的P像素的空间块，P≤Pmax，其中Pmax是所述当前图像中的像素总数；和 -所述P像素的所述空间块在所述N个图像集合中不同于所述当前图像的的至少另一图像中的投影， 所述确定深度图被迭代地执行，用新的P值执行所述确定深度图的每次新的迭代，所述新的P值小于在所述确定深度图的先前迭代中使用的先前的P值。 因此，基于迭代处理的深度图的确定涉及对每次迭代使用不同的像素空间块，从而允许使用LF内容的图像中可用的所有信息。 此外，对于依次的迭代，依次考虑像素数目递减的像素空间块。因此，第一次确定的深度图中的深度值对应于基于LF内容的图像中的最大像素数确定的深度值。这允许提高结果中的质量。 根据一个实施例，P 因此，对于用于确定深度图所考虑的像素块的给定尺寸，提供最佳置信水平的像素块被保持用于确定所讨论的深度图。 根据一个实施例，多个P像素空间块包括所有P像素空间块。 根据一个实施例，匹配技术执行代价函数的最小化。所述匹配技术的依次执行还提供代价函数的最小值的集合，置信值至少是以下项的函数： -最小值集合中的最小值；或 -最小值和最小值集合中至少倒数第二个最小值的组合。 根据一个实施例，代价函数是属于以下组的范数的函数： -均方差； -平均绝对差；或 -零均值归一化互相关。 根据一个实施例，提出了一种非暂时性计算机可读介质，其包括记录在其上并且能够由处理器运行的计算机程序产品，该计算机程序产品包括程序代码指令，所述程序代码指令包括用于实现先前描述的用于估计光场内容的M个图像的矩阵中的像素的深度的方法。
机译： 用于估计像素的深度，相应的设备和计算机程序产品的方法
机译： 用于估计像素的深度的方法，相应的设备和计算机程序产品
机译： 估计像素深度的方法，相应的设备和计算机程序产品
