用于估计深度和将2D视频转换为3D视频的方法和设备

摘要

提供了一种用于估计深度和将2D视频转换为3D视频的方法和设备。可通过从输入视频提取特征信息来估计视频的深度，并基于提取的特征信息估计输入视频的深度。

说明书

本申请要求于2008年12月4日在韩国知识产权局提交的10-2008-122655号韩国专利申请的利益，该申请全部公开于此以资参考。

技术领域

一个或多个实施例涉及一种当没有提供深度信息时能够提供深度信息的深度估计设备和深度估计方法，所述深度信息用于将二维(2D)单目视频转换为立体视频(以下称为“3D视频”)，更具体地，涉及一种作为3D视频转换设备的深度建立设备和3D视频转换方法的深度建立方法。

背景技术

随着对3D视频的兴趣的显著增加，正在对3D视频进行各种研究和学习。

通常，众所周知人类感知3D效果主要由于两眼之间感知的双目视差。因此，可利用人类的这个感知来实现3D视频。作为示例，为了在3D视频中显示对象，相应地同时显示分别经由左眼和右眼观看的图像，从而使观看者能够以3D体验该对象。因此，可通过制作双目视频(即，分别具有左图像和右图像的视频)并显示该双目视频来实现3D视频。

发明内容

一个或多个实施例提供一种用于深度测量和/或单目2D视频到3D视频的转换的方法和设备，该方法和设备不提供深度信息，通过产生用于2D视频的深度信息的渲染处理来完成深度测量。

一个或多个实施例可提供一种用于估计深度的设备，该设备包括：特征信息提取单元，从输入视频提取至少一条特征信息，所述特征信息独立于输入视频的任何预建立的深度值；深度建立单元，基于关于部分输入视频的所述至少一条特征信息来建立部分输入视频的深度。

一个或多个实施例可提供一种3D视频转换设备，该设备包括：提取单元，从输入视频提取至少一条特征信息，所述特征信息独立于输入视频的任何预建立的深度值；深度建立单元，基于关于部分输入视频的所述至少一条特征信息建立部分输入视频的深度；渲染单元，使用建立的部分输入视频的深度将输入视频渲染为3D视频。

一个或多个实施例可提供一种深度估计方法，该方法包括：从输入视频提取至少一条特征信息，所述特征信息独立于输入视频的预建立的深度值；基于关于部分输入视频的所述至少一条特征信息建立部分输入视频的深度。

一个或多个实施例可提供一种3D视频转换方法，该方法包括：从输入视频提取至少一条特征信息，所述特征信息独立于输入视频的任何预建立的深度值；基于关于部分输入视频的所述至少一条特征信息来建立部分输入视频的深度；使用建立的部分输入视频的深度将输入视频渲染为3D视频。

一个或多个实施例可提供一种用于估计深度的设备，该设备包括：特征信息提取单元，从输入图像提取至少一条特征信息，所述特征信息独立于输入图像的任何预建立的深度值；深度建立单元，基于关于部分输入图像的所述至少一条特征信息建立部分输入图像的深度。

一个或多个实施例可提供一种深度估计方法，该方法包括：从输入图像提取至少一条特征信息，所述特征信息独立于输入图像的预建立的深度值；基于关于部分输入图像的所述至少一条特征信息来建立部分输入图像的深度。

通过使用深度估计设备和深度估计方法、3D视频转换装置和3D视频转换方法，可将2D视频转换为3D视频，所述深度估计设备和深度估计方法基于至少一条特征信息来估计用于将输入2D视频转换为3D视频的深度，所述3D视频转换装置和3D视频转换方法使用所述深度估计设备和深度估计方法。

将在接下来的描述中部分阐述另外的方面、特点和/或优点，还有一部分通过描述将是清楚的，或者可以经过本公开的实施而得知。

附图说明

通过下面结合附图进行的描述，这些和/或其它方面、特点和优点将会变得更加清楚和容易，其中：

图1是示出根据一个或多个实施例的深度估计设备的结构的示图；

图2是示出根据一个或多个其它实施例的深度估计设备的结构的示图；

图3是示出根据一个或多个其它实施例的深度估计设备的结构的示图；

图4是示出根据一个或多个其它实施例的深度估计设备的结构的示图；

图5是示出根据一个或多个实施例的3D视频转换设备的结构的示图；

图6是示出根据一个或多个其它实施例的3D视频转换设备的结构的示图；

图7是示出根据一个或多个其它实施例的3D视频转换设备的结构的示图；

图8是示出根据一个或多个其它实施例的3D视频转换设备的结构的示图；

图9是示出根据一个或多个实施例的深度估计方法的流程图；

图10是示出根据一个或多个其它实施例的深度估计方法的流程图；

图11是示出根据一个或多个其它实施例的深度估计方法的流程图；

图12是示出根据一个或多个其它实施例的深度估计方法的流程图；

图13是示出根据一个或多个实施例的3D视频转换方法的流程图；

图14是示出根据一个或多个其它实施例的3D视频转换方法的流程图；

图15是示出根据一个或多个其它实施例的3D视频转换方法的流程图；

图16是示出根据一个或多个其它实施例的3D视频转换方法的流程图。

具体实施方式

现在，具体地参照本发明的实施例，其示例在附图中表示，其中，相同的标号始终表示相同的部件。在这方面，本发明的实施例可被以多种不同的形式实现，不应被认为限于在此列出的实施例。因此，以下通过参考附图仅仅描述实施例以解释本发明的各方面。

图1是示出根据一个或多个实施例的深度估计设备120的结构的示图。这里，深度估计设备120可包括例如特征信息提取单元121和深度建立单元122。这里，贯穿以下描述，术语设备应被认为与物理系统的元件同义，而不局限于所有实施例中的单个附件或在各个单个附件中实现的所有描述的元件，而根据实施例，通过不同元件以不同附件和/或位置一起或单独实现是开放的。仅作为另一示例，各个设备/系统或方法还可通过一个或多个处理元件/装置被控制或通过分布的网络实施，注意附加和替代实施例是平等可用的。

当输入视频110被提供到深度估计设备120时，特征信息提取单元121可获得输入视频110的至少一条特征信息，并将提取的输入视频110的至少一条特征信息提供给深度建立单元122。

根据一个或多个实施例，输入视频110可以是没有深度信息的单目视频。作为另一示例，输入视频110可以是空间交织的立体视频、时间交织的立体视频和具有深度信息的单目视频。另外，根据一个或多个实施例，在特征信息提取单元121中提取的特征信息可以是边缘信息、颜色信息、亮度信息、运动信息和/或直方图信息中的至少一个，注意替代物是平等可用的。特征信息可关于图像(诸如帧或视频)，或可关于多个图像或帧，以及关于视频。

深度建立单元122可基于从特征信息提取单元121提取的至少一条特征信息来建立输入视频110的深度。

因此，深度估计单元120可基于输入视频110的特征信息通过建立输入视频110的深度将二维(2D)输入视频转换为立体视频(以下称为“3D视频”)。如果已经存在用于输入视频的一个或多个像素的深度信息，则深度估计单元120随后可基于提取的特征信息来转换或修改输入视频以估计用于输入视频的一个或多个像素的深度，所述提取的特征信息具有独立于一个或多个像素的这些潜在预存在或预建立的深度值的至少一个特征信息。这里，可基于预存在或预建立的深度值和提取的特征信息两者或单独基于提取的特征信息来估计用于一个或多个像素的深度。或者，例如，如果不存在任何或所有用于输入视频的预存在或预建立的深度值，则输入视频可以仅是不具有任何先前深度信息的2D视频；由于任何预存在或预建立的深度值不存在，故提取的至少一个特征信息可固有地独立于任何预存在或预建立的深度值。在实施例中，也可存在任何预建立的深度数据的评论，如果被认为是准确和明确的，则例如仅预建立的深度数据可被使用，而不需要深度的进一步估计。

根据一个或多个实施例，诸如图1中示出的深度估计设备120的实施例可被以替代和/或附加实施例实现。参照图2到图4来描述关于深度估计设备120的各种实施例，再次注意替代实施例是平等可用的。

图2是示出根据一个或多个其它实施例的深度估计设备220的结构的示图。这里，深度估计设备220可包括例如特征信息提取单元223和深度建立单元226。根据实施例，深度建立单元226还可包括用于进一步示例的深度图初始化单元222和深度更新单元225。

当输入视频210被提供到深度估计单元220时，深度图初始化单元222可建立输入视频210的至少一个像素的初始深度，并将建立的至少一个像素的初始深度存储到深度图224。至少一个像素可关于单个图像(例如输入视频210的单个帧)或者关于输入视频210的多个图像或帧。例如，与识别的对象相应的一个帧的部分的深度可仅被应用于其它帧中的相同对象。

根据一个或多个实施例，输入视频210可以是单目视频。另外，根据一个或多个实施例，深度图初始化单元222可建立用于输入视频210的序列的每个帧的初始深度，并将用于输入视频210的序列的每个帧的初始深度存储到深度图224。

另外，根据实施例，深度图初始化单元222可通过例如以下等式1来建立初始深度，

等式1：

z(x，y)＝y/N

这里，(x，y)表示输入视频210内(例如，输入视频的帧内)的图像坐标，z表示各自的深度。在这种情况下，z可以是取决于在观察点与输入视频210中呈现的对象的距离的例如0到1之间的值。作为示例，当对象位于距观看者相对较远的位置时，对象的深度可被认为较大或“较深”，在这种情况下，z可以是接近于1的值。相反，同样作为示例，当对象位于距观看者相对较近的位置时，对象的深度可被认为较小或“较浅”，在这种情况下，z可以是接近于0的值。这里，N表示输入视频210的图像的水平线的数量。

参照等式1，初始深度取决于输入视频210的图像的y坐标。通常，在输入视频210中呈现的对象的情况下，位于输入视频210的上部的对象可被认为比位于输入视频210的下部的对象定位得更远。

因此，使用这些特征(即，帧内的对象的垂直位置)，可通过确定位于输入视频210的上部的对象的深度深于位于输入视频210的下部的对象的深度来建立用于对象的初始深度。简要地说，注意包括任何提取的特征信息的替代特征可被用于这样的初始深度建立。此外，即使在实现这样的垂直位置特征的情况下，本发明的实施例也不限于使用等式1。

当深度估计设备220例如通过深度图初始化单元222建立初始深度并存储所述初始深度时，用户可通过使用估计的深度图信息执行用于将2D输入视频210转换为3D视频的渲染处理来将输入视频210转换为3D视频。

然而，由于在深度图初始化单元222中建立的初始深度不是平滑的深度映射(例如，由于初始深度可仅基于输入视频210的各个像素或对象的各自的二维位置，而不是关于视频的特征信息)，故使用初始深度转换的3D视频可能具有不准确的深度。

因此，根据一个或多个实施例，深度估计设备220还可基于深度图初始化单元222建立的初始深度，通过使用输入视频210的至少一个像素的特征信息适当地调节深度来将相对更准确的深度信息分配给输入视频210。

为此，特征信息提取单元223可提取输入视频210的至少一条特征信息，并将提取的信息提供到深度更新单元225。

根据一个或多个实施例，在特征信息提取单元223中提取的特征信息可以是诸如边缘信息、颜色信息、亮度信息、运动信息和直方图信息中的至少一个的至少一个具体特征信息，注意替代物是平等可用的。如另一示例，这里，可通过深度感知(诸如，单目线索)来完成来自特定特征的深度估计。深度感知可包括基于相机聚焦模糊、消失线和闭塞区域(例如，来自T连接)的评论。

深度更新单元225可基于至少一条具体特征信息和初始深度通过执行滤波来计算输入视频210的最终深度，并基于计算的深度来更新深度图224。

根据一个或多个实施例，特征信息提取单元223可基于至少一条具体特征信息来计算输入视频210的至少一个像素与相邻像素之间的权重。

这里，根据一个或多个实施例，特征信息提取单元223可计算权重，从而依靠至少一个像素与相邻像素之间的特征信息的相似度。

另外，根据一个或多个实施例，深度更新单元225可基于在特征信息提取单元223中计算的权重来执行滤波。

在相关上下文中，以下将详细描述特征信息提取单元223的操作和深度更新单元225的示例操作。

如果假设特征信息提取单元223提取输入视频210的亮度信息，则随后基于亮度信息计算权重。

特征信息提取可基于亮度信息的相似度来计算输入视频210的至少一个像素与相邻像素之间的权重。

作为示例，可计算像素“a”与相邻于像素“a”的像素“x”、像素“y”、像素“z”和像素“w”中的每一个之间的权重。当像素“x”、像素“y”、像素“z”和像素“w”的亮度以像素“x”、像素“y”、像素“z”和像素“w”的顺序与像素“a”的亮度相似时，可以以像素“x”、像素“y”、像素“z”和像素“w”的顺序确定权重。

深度更新单元225可通过计算像素“a”的第一深度“a”来将存储在深度图224中的像素“a”的初始深度更新为第一深度“a”，根据在特征信息提取单元223中计算的权重通过应用存储在深度图224中的像素“x”、像素“y”、像素“z”和像素“w”的初始深度来计算第一深度“a”。

同时，以与像素“a”相同的方式，深度更新单元225可通过考虑像素“x”、像素“y”、像素“z”和像素“w”中的每一个与相邻像素之间的权重来计算像素“x”、像素“y”、像素“z”和像素“w”中的每一个的第一深度“b”，并可将存储在深度图224中的像素“x”、像素“y”、像素“z”和像素“w”的初始深度更新为第一深度“b”。

当像素“x”、像素“y”、像素“z”和像素“w”的初始深度被更新为第一深度“b”时，深度更新单元225可通过计算像素“a”的第二深度“a”来将存储在深度图224中的像素“a”的第一深度“a”更新为第二深度“a”，根据权重通过应用存储在深度图224中的像素“x”、像素“y”、像素“z”和像素“w”的第一深度“b”来计算第二深度“a”。

在这种情况下，以与像素“a”相同的方式，深度更新单元225可基于像素“x”、像素“y”、像素“z”和像素“w”中的每一个的第一深度“b”与每个相邻像素之间的权重来将存储在深度图224中的像素“x”、像素“y”、像素“z”和像素“w”中的每一个的第一深度“b”更新为第二深度“b”。

如上所述，深度更新单元225可通过重复执行上述的更新操作来对存储在深度图224中的深度进行滤波。

因此，深度估计设备220可基于输入视频210的至少一个像素与相邻像素之间的特征信息通过适当地调节深度来将输入视频210转换为具有精确深度的3D视频。

在相关上下文中，特征信息提取单元223可通过例如以下等式2来计算权重，

等式2：

$\omega (x,y,x^{\prime },y^{\prime })=\exp (-\frac{{(Y(x^{\prime },y^{\prime })-Y(x,y))}^2}{2{\sigma }^2})$

这里，ω表示权重，(x，y)表示输入视频210的至少一个像素的坐标，(x′，y′)表示与所述至少一个像素相邻的像素的坐标，Y表示输入视频210的至少一条具体特征信息，σ表示滤波参数，可根据例如以下等式3来计算深度，

等式3：

$z(x,y)=\frac{1}{k}\underset{x^{\prime },y^{\prime }\in \eta }{\Sigma }\omega (x,y,x^{\prime },y^{\prime })z(x^{\prime },y^{\prime })$

这里，z(x，y)表示输入视频210的至少一个像素的深度，z(x′，y′)表示与所述至少一个像素相邻的相邻像素的深度，ω表示权重，k表示标准化因子。

如上所述，深度更新单元225可根据例如等式3来更新存储在深度图224中的深度。

根据一个或多个实施例，深度图初始化单元222可使用至少一条具体特征信息建立初始深度，并将建立的初始深度存储在深度图224中。

因此，深度图初始化单元222可建立已经在其中执行平滑的初始深度。

深度估计设备220可通过经由深度图初始化单元222建立可在其中执行平滑的初始深度来减小迭代操作的复杂性，执行所述迭代操作用于深度更新单元225平滑存储在深度图224中的深度。

在这种情况下，根据一个或多个实施例，除了特征信息提取单元223之外，深度估计设备220还可包括其它特征信息提取单元。

这里，深度图初始化单元222可通过从另一特征信息提取单元接收至少一条具体特征信息来建立初始深度。

根据一个或多个实施例，深度估计设备220还可包括后处理单元，所述后处理单元后处理深度图224以将输入视频210转换为具有较平滑的深度的3D视频。

另外，根据一个或多个实施例，深度估计设备220还可包括预处理单元221。

预处理单元221可转换输入视频210的颜色空间，或当输入视频210是被编码为预定的视频流的视频时，通过解码输入视频210来提取输入视频210的运动矢量。

当预处理单元221执行转换输入视频210的颜色空间的功能时，特征信息提取单元223可提取输入视频210的更准确的特征信息。

作为示例，当输入视频210是包括YCbCr颜色空间或红、绿、蓝颜色空间的视频时，预处理单元221可将输入视频210的颜色空间转换为例如L*U*V颜色空间，从而特征信息提取单元223可提取输入视频210的更准确的特征信息。

另外，当预处理单元221通过解码输入视频210来执行提取输入视频210的运动矢量的功能时，特征信息提取单元223可使用所述运动矢量来提取输入视频210的特征信息。

图3是示出根据一个或多个其它实施例的深度估计设备320的结构的示图。深度估计设备320可包括例如特征信息提取单元322、放大单元325和深度建立单元326。此外，根据一个或多个实施例，深度建立单元326还可包括深度图初始化单元321和深度更新单元324。

深度图初始化单元321可将输入视频310的多个像素划分为至少一个块，建立至少一个块的初始深度，并将所述至少一个块的初始深度存储在深度图323中。

作为示例，当输入视频310的多个像素是a、b、c、d、e、f时，深度图初始化单元321可将多个像素的相邻像素划分为至少一个块(诸如(a，b)、(c，d)或(e，f))，建立至少一个块的初始深度，并将所述初始深度存储在深度图323中。

根据一个或多个实施例，输入视频310可以是单目视频。另外，根据一个或多个实施例，深度图初始化单元321可根据例如上述等式1建立初始深度或其它特征，其中，(x，y)表示至少一个块的坐标。

特征信息提取单元322可提取输入视频310的至少一条具体特征信息并将提取的输入视频310的至少一条具体特征信息提供到深度更新单元324。

根据一个或多个实施例，在特征信息提取单元322中提取的输入视频310的至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个，注意替代实施例是平等可用的。

深度更新单元324可基于至少一个具体特征信息和初始深度通过执行滤波来计算至少一个块的第二深度，并使用所述第二深度来更新深度图323。

根据一个或多个实施例，特征信息提取单元322可基于至少一条具体特征信息来计算至少一个块与每个相邻块之间的权重。

这里，根据一个或多个实施例，特征信息提取单元322可计算权重，从而依靠至少一个块与每个相邻块之间的特征信息的相似度。

在这种情况下，根据一个或多个实施例，特征信息提取单元322可根据例如等式2计算权重。这里，(x，y)表示至少一个块的坐标，(x′，y′)表示与至少一个块相邻的块的坐标。

另外，根据一个或多个实施例，深度更新单元324可基于在特征信息提取单元322中计算的权重来执行滤波。

在这种情况下，根据一个或多个实施例，深度更新单元324可根据例如等式3执行滤波。这里，(x，y)表示至少一个块的坐标，(x′，y′)表示与至少一个块相邻的块的坐标。

在实施例中，放大单元325还可基于多个像素来放大更新的深度图323。

因此，根据一个或多个实施例的深度估计设备320将输入视频310的多个像素划分为至少一个块，产生深度图323，放大产生的深度图323，从而通过相对简单的操作产生用于将输入视频310转换为3D视频的深度图。

根据一个或多个实施例，深度图初始化单元321可基于从特征信息提取单元322中提取的至少一条具体特征信息来建立初始深度，并将所述初始深度存储在深度图323中。

因此，深度图初始化单元321可建立可在其中执行平滑的初始深度。

因此，深度估计设备320可通过经由深度图初始化单元321建立可在其中执行平滑的初始深度来减小迭代操作的复杂性，执行所述迭代操作可被执行用于深度更新单元324平滑存储在深度图323中的深度。

在这种情况下，根据一个或多个实施例，除了特征信息提取单元322之外，深度估计设备320还可包括另一特征信息提取单元。

这里，深度图初始化单元321可通过从另一特征信息提取单元接收至少一条具体特征信息来建立初始深度。

根据一个或多个实施例，深度估计设备220还可包括后处理单元，例如，所述后处理单元后处理放大的深度图以将输入视频310转换为具有较平滑的深度的3D视频。

另外，根据一个或多个实施例，深度估计设备320还可包括预处理单元。

预处理单元可转换输入视频310的颜色空间，或例如当输入视频310是编码预定的视频流的视频时通过解码输入视频310来提取输入视频310的运动矢量。

当预处理单元转换输入视频310的颜色空间时，特征信息提取单元322还可提取输入视频310的更精确的特征信息。

作为示例，当输入视频310是由YCbCr颜色空间或红、绿、蓝颜色空间构成的视频时，预处理单元可将输入视频310的颜色空间转换为例如L*U*V颜色空间，从而特征信息提取单元322可提取输入视频310的更精确的特征信息。

另外，当预处理单元通过解码输入视频310执行提取输入视频310的运动矢量的操作时，特征信息提取单元322可使用例如所述运动矢量提取输入视频310的特征信息。

图4是示出根据一个或多个实施例的深度估计设备430的结构的示图。深度估计设备430可包括例如特征信息提取单元438和深度建立单元442。此外，根据一个或多个实施例，深度建立单元442还可包括深度图初始化单元437和深度更新单元440。

深度图初始化单元437可建立输入视频410的至少一个像素的初始深度，并将建立的初始深度存储在深度图439中。

根据一个或多个实施例，输入视频410可以是单目视频。

特征信息提取单元438可提取输入视频410的至少一条具体特征信息并将提取的至少一条具体特征信息提供到深度更新单元440。

根据一个或多个实施例，在特征信息提取单元438中提取的输入视频410的至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。

深度更新单元440可基于至少一条具体特征信息和初始深度通过执行滤波来计算输入视频410的最终深度，并基于计算的深度来更新深度图439。

根据一个或多个实施例，特征信息提取单元438可基于至少一条具体特征信息来计算输入视频410的至少一个像素与每个相邻像素之间的权重。

在这种情况下，根据一个或多个实施例，特征信息提取单元438可计算权重，从而依靠至少一个像素与相邻像素之间的特征信息的相似度。

这里，根据一个或多个实施例，特征信息提取单元438可根据例如前述的等式2来计算权重。

另外，根据一个或多个实施例，深度更新单元440可基于权重执行滤波。

在这种情况下，根据一个或多个实施例，深度更新单元440可根据例如前述的等式3来执行滤波。

如上所述，当深度图初始化单元437建立初始深度时，深度估计设备430可使用至少一条具体特征信息建立输入视频410的深度，从而引起深度更新单元440更新深度图439的结果。

深度估计设备430可通过例如缩小输入视频410、估计缩小的输入视频的第二深度并使用所述第二深度作为初始深度来简化用于估计输入视频410的深度的操作。

在相关上下文中，深度估计设备430还可包括例如缩小单元431、第二特征信息提取单元433、第二深度建立单元441和放大单元436。

这里，根据一个或多个实施例，第二深度建立单元441可包括例如第二深度图初始化单元432和第二深度更新单元435。

缩小单元431可将在深度估计设备430中接收的输入视频410缩小为预定的分辨率。

作为示例，当输入视频的分辨率是1024×768时，缩小单元431可将输入视频410的分辨率缩小为800×600。

第二深度图初始化单元432可建立由缩小单元431缩小的输入视频420的至少一个像素的第二初始深度，并将所述第二初始深度存储在第二深度图434中。

根据一个或多个实施例，第二深度图初始化单元432可根据例如前述的等式1或其它特征计算第二初始深度。

第二特征信息提取单元433可提取缩小的输入视频420的至少一条具体第二特征信息，并将提取的缩小的输入视频420的至少一条具体第二特征信息提供给第二深度更新单元435。

根据一个或多个实施例，在第二特征信息提取单元433中提取的至少一条具体第二特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。

第二深度更新单元435可基于至少一条具体第二特征信息和第二初始深度通过执行滤波来计算缩小的输入视频420的第二深度，并使用所述第二深度来更新第二深度图434。

根据一个或多个实施例，第二特征信息提取单元433可基于至少一条具体第二特征信息来计算缩小的输入视频420的至少一个像素与每个相邻像素之间的第二权重。

根据一个或多个实施例，第二特征信息提取单元433可计算第二权重，从而依靠至少一个像素与相邻像素之间的特征信息的相似度。

这里，根据一个或多个实施例，第二特征信息提取单元433可根据例如前述的等式2来计算第二权重。

另外，根据一个或多个实施例，第二深度更新单元435可基于第二权重来执行滤波。

这里，根据一个或多个实施例，第二深度更新单元435可根据例如前述的等式3来执行滤波。

放大单元436可基于输入视频410的分辨率来放大更新的第二深度图434，并将放大的深度图434提供给深度图初始化单元437。

这里，根据一个或多个实施例，放大单元436可基于至少一条具体第二特征信息和至少一条具体特征信息来放大第二深度图434。

当放大单元436放大第二深度图434时，深度图初始化单元437建立存储在放大的第二深度图中的深度作为输入视频410的至少一个像素的初始深度，并将所述至少一个像素的初始深度存储在深度图439中。

如上所述，深度估计设备430可建立可在其中执行滤波的深度作为初始深度，从而减小可被执行用于深度更新单元440通过滤波输入视频410的深度来更新深度图439的操作的复杂性。

因此，深度估计设备430可通过缩小输入视频410并使用产生初始深度图的访问方法的组合产生深度图来减小用于估计输入视频410的深度的全部操作。

这里，在图4中示出深度估计设备430通过缩小输入视频410一次来产生深度图，然而，实施例不限于此。

也就是说，根据一个或多个实施例，深度估计设备430将输入视频410缩小n次，从第n次缩小的输入视频产生深度图并放大产生的深度图，从而用作用于产生第(n-1)次缩小的输入视频的深度图的初始深度图。另外，在第(n-1)次缩小的输入视频的深度图的情况下，放大第(n-1)次缩小的输入视频的深度图，从而用作用于产生第(n-2)次缩小的输入视频的深度图的初始深度图，这仅为示例。

因此，深度估计设备430可通过使用通过重复执行上述的操作而产生的深度图作为用于产生输入视频410的深度图的初始深度图来简化用于估计输入视频410的深度的操作。

以上已经参照图1到图4描述了关于深度估计设备的各种实施例。以下，将参照图5到图8描述关于使用深度估计设备将输入视频转换为3D视频的3D转换设备的各种实施例。

图5是示出根据一个或多个实施例的3D视频转换设备520的结构的示图。3D视频转换设备520可包括例如特征信息提取单元521、深度建立单元522和渲染单元523。

当输入视频510被提供给3D视频转换设备520时，特征信息提取单元521可提取输入视频510的至少一条具体特征信息并将提取的至少一条特征信息提供给深度建立单元522。

根据一个或多个实施例，输入视频可以是单目视频。

另外，根据一个或多个实施例，特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息和直方图信息中的至少一个。

深度建立单元522可基于从特征信息提取单元521接收的至少一条具体特征信息来建立输入视频510的深度。

3D视频转换设备520可基于输入视频510的至少一条具体特征信息通过建立输入视频510的深度并使用所述深度渲染2D输入视频510来将输入视频510转换为3D视频。

根据一个或多个实施例，除了在图5中示出的实施例，3D视频转换设备520还可被扩展为各种实施例。参照图6到图8描述3D视频转换设备520的各种示例实施例，注意替代物是平等可用的。

图6是示出根据一个或多个其它实施例的3D视频转换设备620的结构的示图。3D视频转换设备620可包括例如特征信息提取单元622、渲染单元625和深度建立单元626。根据一个或多个实施例，深度建立单元626还可包括例如深度图初始化单元621和深度更新单元624。

当输入视频610被提供到3D视频转换设备620时，深度图初始化单元621可建立输入视频610的至少一个像素的初始深度，并将所述初始深度存储在深度图623中。

根据一个或多个实施例，输入视频610可以是单目视频。

另外，根据一个或多个实施例，深度图初始化单元621可建立输入视频610的序列的每一帧的初始深度，并将所述初始深度存储在深度图623中。

另外，根据一个或多个实施例，深度图初始化单元621可根据例如前述的等式1或其它特征建立初始深度。

特征信息提取单元622可提取输入视频610的至少一条具体特征信息，并将提取的输入视频610的至少一条具体特征信息提供给深度更新单元624。

根据一个或多个实施例，至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息和直方图信息中的至少一个。

深度更新单元624可基于至少一条具体特征信息和初始深度通过执行滤波来计算输入视频610的最终深度，并使用计算的深度来更新深度图623。

根据一个或多个实施例，特征信息提取单元622可基于至少一条具体特征信息来计算输入视频610的至少一个像素与相邻像素之间的权重。

另外，根据一个或多个实施例，特征信息提取单元622可计算权重，从而依靠至少一个像素与相邻像素之间的特征信息的相似度。

这里，根据一个或多个实施例，特征信息提取单元622可根据例如前述的等式2计算权重。

另外，根据一个或多个实施例，深度更新单元624可基于权重执行滤波。

这里，根据一个或多个实施例，深度更新单元624可根据例如前述的等式3执行滤波。

渲染单元625可使用由深度更新单元624更新的深度图623来将输入视频610渲染为3D视频。

根据一个或多个实施例，深度图初始化单元621可使用至少一条具体特征信息建立初始深度，并将所述初始深度存储在深度图623中。

因此，深度图初始化单元621可建立可在其中执行平滑的初始深度。

因此，3D视频转换设备620可经由深度图初始化单元621通过建立可在其中执行平滑的初始深度来减小迭代操作的复杂性，执行所述迭代操作用于深度更新单元624平滑存储在深度图623中的深度。

在这种情况下，根据一个或多个实施例，除了特征信息提取单元622之外，3D视频转换设备620还可包括附加特征信息提取单元。

这里，深度图初始化单元621可通过从另一特征信息提取单元接收至少一条具体特征信息来建立初始深度。

根据一个或多个实施例，3D视频转换设备620还可包括后处理单元，所述后处理单元后处理将被转换为具有较平滑的深度的3D视频的输入视频610。

另外，根据一个或多个实施例，3D视频转换设备620还可包括预处理单元。

预处理单元可转换输入视频610的颜色空间，或当输入视频610是被编码为预定的视频流的视频时通过解码输入视频610来提取输入视频610的运动矢量。

当预处理单元执行转换输入视频610的颜色空间的功能时，特征信息提取单元622可提取输入视频610的更精确的特征信息。

作为示例，当输入视频610是由YCbCr颜色空间或红、绿、蓝颜色空间构成的视频时，预处理单元可将输入视频610的颜色空间转换为L*U*V颜色空间，从而特征信息提取单元622可提取输入视频610的更精确的特征信息。

另外，当预处理单元通过解码输入视频610来执行提取输入视频610的运动矢量的功能时，特征信息提取单元622可使用例如所述运动矢量提取输入视频610的特征信息。

图7是示出根据一个或多个其它实施例的3D视频转换设备720的结构的示图。

3D视频转换设备720可包括例如特征信息提取单元722、放大单元725、渲染单元726和深度建立单元727。

根据一个或多个实施例，深度建立单元727可包括例如深度图初始化单元721和深度更新单元724。

深度图初始化单元721可通过将输入视频710的多个像素划分为至少一个块来建立至少一个块的初始深度，并将所述初始深度存储到深度图723。

作为示例，当输入视频710的多个像素是a、b、c、d、e、f时，深度图初始化单元721可将多个像素的相邻像素划分为至少一个块(诸如(a，b)、(c，d)或(e，f))，建立至少一个块的初始深度，并将所述初始深度存储在深度图723中。

根据一个或多个实施例，输入视频710可以是单目视频。

另外，根据一个或多个实施例，深度图初始化单元721可根据例如前述的等式1或其它特征建立初始深度。

这里，(x，y)表示至少一个块的坐标。

特征信息提取单元722可提取输入视频710的至少一条具体特征信息并将提取的输入视频710的至少一条具体特征信息提供到深度更新单元724。

根据一个或多个实施例，在特征信息提取单元722中提取的输入视频710的至少一条特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。

深度更新单元724可基于至少一条具体特征信息和初始深度通过执行滤波来计算至少一个块的第二深度，并使用所述第二深度来更新深度图723。

根据一个或多个实施例，特征信息提取单元722可基于至少一条具体特征信息来计算至少一个块与每个相邻块之间的权重。

这里，根据一个或多个实施例，特征信息提取单元722可计算权重，从而依靠至少一个块与每个相邻块之间的特征信息的相似度。

在这种情况下，根据一个或多个实施例，特征信息提取单元722可根据例如前述的等式2计算权重。

这里，(x，y)表示至少一个块的坐标，(x′，y′)表示与所述至少一个块相邻的块的坐标。

另外，根据一个或多个实施例，深度更新单元724可基于权重来执行滤波。

在这种情况下，根据一个或多个实施例，深度更新单元724可根据例如前述的等式3执行滤波。

这里，(x，y)表示至少一个块的坐标，(x′，y′)表示与至少一个块相邻的块的坐标。

放大单元725可基于多个像素放大更新的深度图723。

渲染单元726可使用放大的深度图将输入视频710渲染为3D视频。

因此，3D视频转换设备720将输入视频710的多个像素划分为至少一个块，产生深度图723，放大产生的深度图723，从而通过相对简单的操作将输入视频710转换为3D视频。

根据一个或多个实施例，深度图初始化单元721可基于至少一条具体特征信息来建立初始深度，并将所述初始深度存储在深度图723中。

因此，深度图初始化单元721可建立可在其中执行平滑的初始深度。

因此，3D视频转换设备720可经由深度图初始化单元721通过建立可在其中执行平滑的初始深度来减小迭代操作的复杂性，执行所述迭代操作用于深度更新单元724平滑存储在深度图723中的深度。

在这种情况下，根据一个或多个实施例，除了特征信息提取单元722之外，3D视频转换设备720还可包括附加特征信息提取单元。

这里，深度图初始化单元721可通过从另一特征信息提取单元接收至少一条具体特征信息来建立初始深度。

根据一个或多个实施例，3D视频转换设备720还可包括后处理单元，所述后处理单元后处理放大的深度图以将输入视频710转换为具有较平滑的深度的3D视频。

另外，根据一个或多个实施例，3D视频转换设备720还可包括预处理单元。

预处理单元可转换输入视频710的颜色空间，或当输入视频710是被编码为预定的视频流的视频时通过解码输入视频710来提取输入视频710的运动矢量。

当预处理单元221执行转换输入视频210的颜色空间的功能时，特征信息提取单元223可提取输入视频210的更精确的特征信息。

当预处理单元执行转换输入视频710的颜色空间的功能时，特征信息提取单元722可提取输入视频710的更精确的特征信息。

作为示例，当输入视频710是由YCbCr颜色空间或红、绿、蓝颜色空间构成的视频时，预处理单元可将输入视频710的颜色空间转换为L*U*V颜色空间，从而特征信息提取单元722可提取输入视频710的更精确的特征信息。

另外，当预处理单元通过解码输入视频710执行提取输入视频710的运动矢量的功能时，特征信息提取单元722可使用所述运动矢量来提取输入视频710的特征信息。

图8是示出根据一个或多个其它实施例的3D视频转换设备830的结构的示图。3D视频转换设备830可包括例如特征信息提取单元838、深度建立单元843和渲染单元841。根据一个或多个实施例，深度建立单元843还可包括例如深度图初始化单元837和深度更新单元840。

深度图初始化单元837可建立输入视频810的至少一个像素的初始深度，并将输入视频810的至少一个像素的初始深度存储在深度图839中。

根据一个或多个实施例，输入视频810可以是单目视频。

特征信息提取单元838可提取输入视频810的至少一条具体特征信息并将输入视频810的至少一条具体特征信息提供到深度更新单元840。

根据一个或多个实施例，输入视频810的至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。

深度更新单元840可基于至少一条具体特征信息和初始深度通过执行滤波来计算输入视频810的深度，并使用所述深度来更新深度图839。

根据一个或多个实施例，特征信息提取单元838可基于至少一条具体特征信息来计算输入视频810的至少一个像素与每个相邻像素之间的权重。

这里，根据一个或多个实施例，特征信息提取单元838可计算权重，从而依靠至少一个像素与每个相邻像素之间的特征信息的相似度。

在这种情况下，根据一个或多个实施例，特征信息提取单元838可根据例如等式2计算权重。

另外，根据一个或多个实施例，深度更新单元840可基于权重执行滤波。

这里，根据一个或多个实施例，深度更新单元840可根据例如前述的等式3执行滤波。

渲染单元841可使用更新的深度图839将输入视频810渲染为3D视频。

如上所述，当深度图初始化单元837建立初始深度时，深度估计设备830可使用至少一条具体特征信息通过更新深度图839来估计输入视频810的深度。

另外，根据一个或多个实施例，深度估计设备830可通过缩小输入视频810、估计缩小的输入视频的第二深度并使用所述第二深度作为初始深度来简化用于估计输入视频810的深度的操作。

在相关上下文中，深度估计设备830还可包括例如缩小单元831、第二特征信息提取单元833、第二深度建立单元842和放大单元836。

根据一个或多个实施例，第二深度建立单元842可包括例如第二深度图初始化单元832和第二深度更新单元835。

缩小单元831可将在3D视频转换设备830中接收的输入视频810缩小为预定的分辨率。

作为示例，当输入视频的分辨率是1024×768时，缩小单元831可将输入视频810的分辨率缩小为800×600。

根据一个或多个实施例，输入视频810可以是单目视频。

第二深度图初始化单元832可建立由缩小单元831缩小的输入视频820的至少一个像素的第二初始深度，并将所述第二初始深度存储在第二深度图834中。

根据一个或多个实施例，第二深度图初始化单元832可根据例如前述的等式1或其它特征计算第二初始深度。

第二特征信息提取单元833可提取缩小的输入视频820的至少一条具体第二特征信息，并将提取的缩小的输入视频820的至少一条具体第二特征信息提供给第二深度更新单元835。

根据一个或多个实施例，第二特征信息提取单元833提取的至少一条具体第二特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。

第二深度更新单元835可基于至少一条具体第二特征信息和第二初始深度通过执行滤波来计算缩小的输入视频820的第二深度，并使用所述第二深度更新第二深度图834。

根据一个或多个实施例，第二特征信息提取单元833可基于至少一条具体第二特征信息来计算缩小的输入视频820的至少一个像素与每个相邻像素之间的第二权重。

根据一个或多个实施例，第二特征信息提取单元833可计算第二权重，从而依靠至少一个像素与相邻像素之间的特征信息的相似度。

这里，根据一个或多个实施例，第二特征信息提取单元833可根据例如前述的等式2计算第二权重。

另外，根据一个或多个实施例，第二深度更新单元835可基于第二权重执行滤波。

这里，根据一个或多个实施例，第二深度更新单元835可根据例如前述的等式3执行滤波。

放大单元836可基于输入视频810的分辨率来放大更新的第二深度图834，并将放大的深度图834提供给深度图初始化单元837。

这里，根据一个或多个实施例，放大单元836可基于至少一条具体第二特征信息和至少一条具体特征信息来放大第二深度图834，并将放大的第二深度图提供给深度图初始化单元837。

当放大单元836放大并提供第二深度图834时，深度图初始化单元837可建立存储在放大的第二深度图中的深度作为输入视频810的至少一个像素的初始深度，并将所述初始深度存储在深度图839中。

如上所述，通过建立可在其中执行滤波的深度作为初始深度，可减小可被执行用于深度更新单元840通过滤波输入视频810的深度来更新深度图839的操作的复杂性。

因此，3D视频转换设备830可通过缩小输入视频810并使用产生初始深度图的访问方法的组合产生最终深度图来减小用于估计输入视频810的深度的全部操作。

这里，在图8中示出3D视频转换设备830通过缩小输入视频810一次来产生深度图，然而，实施例不限于此。

也就是说，根据一个或多个实施例，3D视频转换设备830将输入视频810缩小n次，从第n次缩小的输入视频产生深度图并放大产生的深度图，从而例如被用作用于产生第(n-1)次缩小的输入视频的深度图的初始深度图。另外，在第(n-1)次缩小的输入视频的深度图的情况下，放大第(n-1)次缩小的输入视频的深度图，从而例如被用作用于产生第(n-2)次缩小的输入视频的深度图的初始深度图。

因此，3D视频转换设备830可通过使用通过重复执行上述的操作而产生的深度图作为用于产生输入视频810的深度图的初始深度图来简化用于估计输入视频810的深度的操作。

图9是示出根据一个或多个实施例的深度估计方法的流程图。

在操作S910，提取输入视频的至少一条具体特征信息。

根据一个或多个实施例，至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。

在操作S920，基于在操作S910中提取的至少一条具体特征信息建立输入视频的深度。

根据一个或多个实施例，除了图9中示出的方法，深度估计方法可扩展为各种实施例。因此，参照图10到图12描述关于深度估计方法的各种实施例，注意附加实施例是平等可用的。

图10是示出根据一个或多个其它实施例的深度估计方法的流程图。

在操作S1010，提取输入视频的至少一条具体特征信息。

输入视频的至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。

在操作S1020，建立至少一个像素的初始深度并将所述初始深度存储在深度图中。

根据一个或多个实施例，在操作S1020可根据例如前述的等式1或其它特征建立初始深度。

在操作S1030，基于至少一条具体特征信息和初始深度通过执行滤波来计算输入视频的最终深度，使用所述深度更新深度图。

根据一个或多个实施例，操作S1020可包括操作：在操作S1010中基于至少一条具体特征信息计算至少一个像素与相邻像素之间的权重。

这里，根据一个或多个实施例，可根据例如前述的等式2计算权重。

另外，根据一个或多个实施例，在操作S1030中基于权重执行滤波。

这里，根据一个或多个实施例，在操作S1030中可根据例如前述的等式3执行滤波。

图11是示出根据一个或多个其它实施例的深度估计方法的流程图。

在操作S1110，将输入视频的多个像素划分为至少一个块，建立至少一个块的初始深度，将所述初始深度存储在深度图中。

根据一个或多个实施例，在操作S1110可根据例如前述的等式1或其它特征建立初始深度。

这里，(x，y)表示至少一个块的坐标。

在操作S1120，提取至少一个块的至少一条具体特征信息。

根据一个或多个实施例，至少一个块的至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。

在操作S1130，基于至少一条具体特征信息和初始深度通过执行滤波来计算至少一个块的第二深度，并使用所述第二深度更新深度图。

根据一个或多个实施例，操作S1120可包括基于至少一条具体特征信息来计算至少一个块与相邻块之间的权重的操作。

在这种情况下，根据一个或多个实施例，可根据例如前述的等式2计算权重。

这里，(x，y)表示至少一个块的坐标，(x′，y′)表示与至少一个块相邻的块的坐标。

另外，根据一个或多个实施例，在操作S 1130可基于权重来执行滤波。

在这种情况下，根据一个或多个实施例，在操作S1130可根据例如前述的等式3执行滤波。

这里，(x，y)表示至少一个块的坐标，(x′，y′)表示与至少一个块相邻的块的坐标。

在操作S1140，基于多个像素放大更新的深度图。

图12是示出根据一个或多个其它实施例的深度估计方法的流程图。

在操作S1210，将输入视频缩小为预定的分辨率。

在操作S1220，建立缩小的输入视频的至少一个像素的第二初始深度，并将所述第二初始深度存储在第二深度图中。

根据一个或多个实施例，在操作S1220可根据例如前述的等式1或其它特征建立第二初始深度。

在操作S1230，提取缩小的输入视频的至少一条第二具体特征信息。

根据一个或多个实施例，至少一条具体第二特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。

在操作S1240，基于至少一条具体第二特征信息和第二初始深度通过执行滤波来计算缩小的输入视频的第二深度，并使用所述第二深度更新第二深度图。

根据一个或多个实施例，操作S1230可包括基于至少一条具体第二特征信息来计算至少一个像素与相邻像素之间的第二权重的操作。

在这种情况下，根据一个或多个实施例，可根据例如前述的等式2计算第二权重。

另外，根据一个或多个实施例，在操作S1240可基于第二权重执行滤波。

在这种情况下，根据一个或多个实施例，在操作S1240可根据例如前述的等式3执行滤波。

在操作S1250，基于输入视频的分辨率放大更新的第二深度图。

在操作S1260，提取输入视频的至少一条具体特征信息。

根据一个或多个实施例，至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。

在操作S1270，建立存储在放大的第二深度图中的深度作为输入视频的至少一个像素的初始深度，并将所述至少一个像素的初始深度存储在深度图中。

在操作S1280，基于至少一条具体特征信息和初始深度通过执行滤波来计算输入视频的最终深度，并使用所述深度更新深度图。

根据一个或多个实施例，操作S1260可包括基于至少一条特征信息来计算至少一个像素与相邻像素之间的权重的操作。

在这种情况下，根据一个或多个实施例，可根据例如前述的等式2计算权重。

另外，根据一个或多个实施例，在操作S1280可基于权重执行滤波。

在这种情况下，根据一个或多个实施例，在操作S1280可根据例如前述的等式3执行滤波。

以上已经参照图9到图12描述了关于深度估计方法的各种实施例。以下，将参照图13到图16描述关于使用深度估计方法将输入视频转换为3D视频的3D转换方法的各种实施例，注意附加实施例是平等可用的。

图13是示出根据一个或多个实施例的3D视频转换方法的流程图。

在操作S1310，提取输入视频的至少一条具体特征信息。

根据一个或多个实施例，至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息和直方图信息中的至少一个。

在操作S1320，基于在操作S1310中提取的至少一条具体特征信息建立输入视频的深度。

在操作S1330，使用滤波的深度将输入视频渲染为3D视频。

根据一个或多个实施例，除了在图13中示出的方法，3D视频转换方法还可被扩展。以下，参照图14到图16描述3D视频转换方法的各种示例实施例，注意可选实施例是平等可用的。

图14是示出根据一个或多个其它实施例的3D视频转换方法的流程图。

在操作S1410，提取输入视频的至少一条具体特征信息。

根据一个或多个实施例，输入视频的至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。

在操作S1420，建立输入视频的至少一个像素的初始深度并将所述初始深度存储在深度图中。

在操作S1430，基于至少一条具体特征信息和初始深度通过执行滤波来计算输入视频的最终深度，并使用所述深度更新深度图。

根据一个或多个实施例，操作S1410可包括基于至少一条具体特征信息来计算至少一个像素与相邻像素之间的权重的操作。

这里，根据一个或多个实施例，可根据例如前述的等式2计算权重。

另外，根据一个或多个实施例，在操作S1430可基于权重执行滤波。

这里，根据一个或多个实施例，可根据例如前述的等式3执行滤波。

在操作S1440，使用更新的深度图将输入视频渲染为3D视频。

图15是示出根据一个或多个其它实施例的3D视频转换方法的流程图。

在操作S1510，将输入视频的多个像素划分为至少一个块，建立至少一个块的初始深度，将所述初始深度存储在深度图中。

根据一个或多个实施例，在操作S1510可根据例如前述的等式1或其它特征建立初始深度。

这里，(x，y)表示至少一个块的坐标。

在操作S1520，提取至少一个块的至少一条具体特征信息。

根据一个或多个实施例，至少一个块的至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。

在操作S1530，基于至少一个条具体特征信息和初始深度通过执行滤波来计算至少一个块的第二深度，并使用所述第二深度更新深度图。

根据一个或多个实施例，操作S1520可包括基于至少一条具体特征信息来计算至少一个块与相邻块之间的权重的操作。

这里，根据一个或多个实施例，可根据例如前述的等式2计算权重。

这里，(x，y)表示至少一个块的坐标，(x′，y′)表示与至少一个块相邻的块的坐标。

另外，根据一个或多个实施例，在操作S1530可基于权重来执行滤波。

这里，根据一个或多个实施例，在操作S1530可根据例如前述的等式3执行滤波。

这里，(x，y)表示至少一个块的坐标，(x′，y′)表示与至少一个块相邻的块的坐标。

在操作S1540，基于多个像素放大更新的深度图。

在操作S1550，使用放大的深度图将输入视频渲染为3D视频。

图16是示出根据一个或多个其它实施例的3D视频转换方法的流程图。

在操作S1610，将输入视频缩小为预定的分辨率。

在操作S1620，建立缩小的输入视频的至少一个像素的第二初始深度，并将所述第二初始深度存储在第二深度图中。

根据一个或多个实施例，在操作S1620可根据例如前述的等式1或其它特征建立第二初始深度。

在操作S1630，提取缩小的输入视频的至少一条具体第二特征信息。

根据一个或多个实施例，至少一条具体第二特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。

在操作S1640，基于至少一条具体第二特征信息和第二初始深度通过执行滤波来计算缩小的输入视频的第二深度，并使用所述第二深度更新第二深度图。

根据一个或多个实施例，操作S1630可包括基于至少一条具体第二特征信息来计算至少一个像素与相邻像素之间的第二权重的操作。

在这种情况下，根据一个或多个实施例，可根据例如前述的等式2计算第二权重。

另外，根据一个或多个实施例，在操作S1640可基于第二权重执行滤波。

根据一个或多个实施例，在操作S1640可根据例如前述的等式3执行滤波。

在操作S1650，基于输入视频的分辨率放大更新的第二深度图。

在操作S1660，提取输入视频的至少一条具体特征信息。

根据一个或多个实施例，至少一条特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息和直方图信息中的至少一个。

在操作S1670，建立存储在放大的第二深度图中的深度作为输入视频的至少一个像素的初始深度，并将所述至少一个像素的初始深度存储在深度图中。

在操作S1680，基于至少一条具体特征信息和初始深度通过执行滤波来计算输入视频的最终深度，并使用所述深度更新深度图。

根据一个或多个实施例，操作S1660可包括基于至少一条具体特征信息来计算至少一个像素与相邻像素之间的权重的操作。

这里，根据一个或多个实施例，可根据例如前述的等式2计算权重。

另外，根据一个或多个实施例，在操作S1680可基于第二权重执行滤波。

这里，根据一个或多个实施例，可根据例如前述的等式3执行滤波。

在操作S1690，使用更新的深度图将输入视频渲染为3D视频。

除了如上所述，一个或多个实施例可包括例如实现相同内容的产品(诸如，3D显示器(例如，电视、监视器、移动装置等))和演播室后生产系统。估计的深度可等同地对其它装置(诸如，在增强传统图像处理系统和帧速率转换装置中)有益。估计的深度还可对例如用于计算机版本应用(包括对象检测、识别，甚至优选地在编码器中对其它分片或对象之前的图像或帧的分片或对象进行编码)的算法附加可变。

根据上述一个或多个实施例的深度估计方法和3D视频转换方法可被记录到包括用于实现计算机实施的各种操作的计算机可读代码或指令的计算机可读介质，或者可被一个或多个处理装置执行。所述介质还可包括计算机可读代码、数据文件、数据结构等的组合。计算机可读介质的例子包括磁性介质(例如，硬盘、软盘和磁带)、光学介质(例如，CD-ROM盘和DVD)、磁光介质(例如，光盘)和专门配置以存储和执行指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。所述代码和指令的例子包括可由诸如编译器产生的机器码和包括可由计算机或者一个或多个处理装置使用解析器执行的更高级代码的文件。

虽然已经参照不同的实施例具体示出和描述了本发明的各方面，但是应该理解，这些示例性实施例仅被认为是描述的目的，而不是限制的目的。每个实施例中的特征或方面的描述应被典型地认为对于其它实施例中的其它相似特征或方面是可用的。

因此，虽然已经示出和描述了几个实施例，但是本领域的技术人员应该理解，在不脱离由权利要求及其等同物限定的本发明的原理和精神的情况下，可以对这些实施例进行改变。