2D/3D视频转换中的深度归一化方法及装置

摘要

本发明属于3D视频技术领域，具体涉及了一种基于视差区域原理的用于2D/3D视频转换的深度归一化方法及装置，所述方法包括：提取与2D视频帧相对应的初始深度图的场景高层信息；基于3D视差区域原理，根据所述场景高层信息对场景的深度范围进行归一化调整。本发明不仅能够降低噪声的干扰，保证深度提取的稳定性，而且能够使深度分布的调整更符合3D立体成像特点，有利于增强3D渲染效果。

说明书

技术领域

本发明属于三维视频(包括3DTV、3D电影等)技术领域，具体涉及 2D/3D(二维至三维)的视频转换技术，特别是一种基于深度图渲染的 2D/3D视频转换中的深度归一化方法及装置。

背景技术

目前，三维(3D)视频逐渐普及，中国中央电视台(CCTV)也在2012 年元旦之际试播了3D频道，3D视频已经逐渐成为了当前发展的一种趋势。 然而，视频源不足成为制约这一产业兴起的主要瓶颈。在这种情况下，将 2D视频转为3D视频是解决此问题的有效途径。

将2D视频转为3D视频总的来说存在两种渲染方式：其中一种是通 过采用某种方法从单一的视频帧中直接重建出具有视差的左右眼图像对； 另一种是基于深度图的渲染(Depth Image-based Rendering，DIBR)，它的转 换结果是在原视频的基础上附加了每一帧所对应的深度图，最后由嵌入 DIBR处理模块的显示终端输出转换为双目立体视频后就可以进行观赏 (参见“电影2D/3D转换技术概述[J]”，刘伟、吴毅红、胡占义，《计算机 辅助设计与图形学学报》，2012，24(1)：14-28)。与前者相比，后者以其具有 的三个独到特点：高效的压缩传输效率、与现有2D技术和不同设备的兼 容性强以及在实时立体视频生成上具有的景深调整和快速渲染合成等技 术优势，在新兴的3DTV、3D移动终端等市场占有绝对的主导地位，是 3D渲染技术未来发展的方向。

图1显示了现有的基于深度图渲染的2D/3D视频转换方法，如图1所 示，对于输入的2D视频，首先通过解码从该2D视频的视频流中分解得 到视频帧，同时，利用某种深度线索从该2D视频中提取出有效的深度信 息，从而得到与所述视频帧对应的初始深度图；然后，经过深度归一化模 块调整生成归一化深度图；接着，将该归一化深度图与所述视频帧再经过 基于深度图的3D渲染处理，从而得到3D视频并输出。

其中，深度归一化模块将由某种深度线索得到的初始深度图按照 DIBR渲染标准进行了调整，该归一化调整步骤是基于深度图渲染的 2D/3D转换方法中的重要步骤。

前述的“电影2D/3D转换技术概述[J]”中指出的当前2D/3D视频转 换技术虽然方法众多，但是不同的深度线索只能在特定的条件下提供有限 的深度信息，所以，如何保证在转换过程中深度信息在时间域上的稳定性 是一个亟待解决的难题。

对此，传统的解决方法是对深度进行归一化并采用平滑滤波器对连续 的深度图进行底层图像处理，然而，这种平滑效果十分有限。不仅如此， 目前常用的深度归一化方法以初始深度图中深度的上下限为基准，采用线 性的方法对深度范围进行调整，如果上下限受到了噪声的影响，则少数的 噪声点就可以影响到整个场景的深度范围的分布。因此在2D/3D视频转换 中使用现有的深度归一化方法无法有效保证视频流中深度提取的稳定性， 从而影响了3D视频的实际转换效果。

发明内容

(一)要解决的技术问题

本发明所要解决的技术问题是提供一种基于深度图渲染的2D/3D视 频转换中的深度归一化方法及装置，以提高2D/3D视频转换中使用的深度 归一化方法的深度提取稳定性。

(二)技术方案

为解决上述技术问题，本发明提供了一种用于2D/3D视频转换的深度 归一化方法，包括如下步骤：提取与2D视频帧相对应的初始深度图的场 景高层信息；基于3D视差区域原理，根据所述场景高层信息对场景的深 度范围进行归一化调整。

其中，可通过深度直方图提取与2D视频帧相对应的初始深度图的所 述场景高层信息。

所述的场景高层信息是场景中的最大深度、最小深度和主导深度。

所述提取场景高层信息的步骤包括：通过深度图统计直接获得场景中 的最大深度和最小深度；以所述最大深度和最小深度分别作为上限和下限 基准，将连续的深度变化空间划分为若干等间隔的深度区域，并统计出在 初始深度图中每个区域所对应的像素点个数；以像素点个数最多的深度区 域的均值作为所处视角下的场景的主导深度。

所述归一化调整的步骤是以主导深度和零视差平面作为基准来对场 景的深度范围进行归一化调整。

所述归一化调整的步骤包括：选定要采用的非线性变换算子及对应的 归一化后的初始深度上限B₁和初始深度下限B₂；根据所述归一化后的初 始深度上限B₁和归一化后的初始深度下限B₂计算得到与零视差平面对应 的归一化深度值B₃；根据深度归一化函数计算出归一化后的深度值。

所述非线性变换算子为x表示初始深度值，此时归一 化后的初始深度上限B₁和归一化后的初始深度下限B₂的取值范围为： 0＜B₁＜B₂＜1。

所述非线性变换算子还可以为x表示初始深度值，此时 归一化后的初始深度上限B₁和归一化后的初始深度下限B₂的取值范围为： 0＜B₁＜B₂＜+∞。

所述计算与零视差平面对应的归一化深度值B₃的公式为： 其中λ_ratio为正视差区域的纵深与负视 差区域的纵深的比值。

所述λ_ratio为1～6。

所述归一化函数为

其中，N_max表示归一化后的最大深度值，D_m表示场景的主导深度， D_l表示场景的最大深度，D_s表示场景的最小深度，x表示初始的深度值， y表示归一化后的深度值。

本发明还提供一种用于2D/3D视频转换的深度归一化装置，用于对 2D视频的初始深度图进行归一化调整，包括预处理模块和深度归一化模 块，二者彼此电性连接，该预处理模块用于提取与2D视频帧相对应的所 述初始深度图的高层信息，并将所提取的高层信息传送到深度归一化模块； 所述深度归一化模块基于3D视差区域原理，根据所述高层信息对场景的 深度范围进行归一化调整。

所述该预处理模块通过深度直方图提取与2D视频帧相对应的初始深 度图的所述场景高层信息。

所述的场景高层信息是场景中的最大深度、最小深度和主导深度。

所述预处理模块用于：通过深度图统计直接获得场景中的最大深度和 最小深度；以所述最大深度和最小深度分别作为上限和下限基准，将连续 的深度变化空间划分为若干等间隔的深度区域，并统计出在初始深度图中 每个区域中对应的像素点个数；以像素点个数最多的深度区域的均值作为 所处视角下的场景的主导深度。

所述深度归一化模块用于以主导深度和零视差平面作为基准来对场 景的深度范围进行归一化调整。

所述深度归一化模块用于：选定要采用的非线性变换算子及对应的归 一化后的初始深度上限B₁和初始深度下限B₂；根据所述归一化后的初始 深度上限B₁和归一化后的初始深度下限B₂计算得到与零视差平面对应的 归一化深度值B₃；根据深度归一化函数计算出归一化后的深度值。

所述非线性变换算子为x表示初始深度值，此时归一 化后的初始深度上限B₁和归一化后的初始深度下限B₂的取值范围为： 0＜B₁＜B₂＜1。

所述非线性变换算子还可以为x表示初始深度值，此时 归一化后的初始深度上限B₁和归一化后的初始深度下限B₂的取值范围为： 0＜B₁＜B₂＜+∞。

所述计算与零视差平面对应的归一化深度值B₃的公式为：

其中λ_ratio为正视差区域的纵深与负视 差区域的纵深的比值。

所述λ_ratio为1～6。

所述归一化函数为

其中，N_max表示归一化后的最大深度值，D,_m表示场景的主导深度， D_l表示场景的最大深度，D_s表示场景的最小深度，x表示初始的深度值， y表示归一化后的深度值。

本发明还提供一种2D/3D视频转换装置，其包括所述任一种用于 2D/3D视频转换的深度归一化装置。

(三)有益效果

本发明利用视频场景中的高层信息以主导深度和零视差平面作为基 准来对场景的深度范围进行调整，不仅降低了噪声的干扰，保证了深度提 取的稳定性，而且深度分布的调整更符合3D立体成像特点，有利于增强 3D渲染效果。

附图说明

图1是现有的基于深度图渲染的2D/3D视频转换方法的流程图；

图2是本发明采用的3D视差区域原理的示意图；

图3是本发明的基于视差区域原理的2D/3D视频转换中深度归一化方 法的流程图；

图4是本发明的基于视差区域原理的2D/3D视频转换中深度归一化装 置的原理框图；

图5是实验视频中的一帧图像；

图6是图5对应的图层分区示意图；

图7是采用传统的深度归一化方法与采用本发明的深度归一化方法对 各个图层的深度进行归一化处理后的深度稳定性对比图；

图8是采用传统的深度归一化方法与采用本发明的深度归一化方法对 实验视频的其中一幅图像的深度归一化后的对比图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实 施例，并参照附图，对本发明作进一步的详细说明。

本发明的方法是以由某种深度线索生成的初始深度图作为输入的数 据源，经过变换处理后生成归一化后的深度图。以下分两部分具体说明该 方法：

1、归一化函数及变换算子的确定

图2是本发明采用的3D视差区域原理的示意图。本方法利用3D视 差区域原理，通过非线性变换完成深度归一化调整。如图2所示，3D成 像区域对应着双目视野的相交区域，I_s代表3D成像平面，I和I’代表双目 视平面。若空间中一点A在视平面上的成像分别为a、a′，则它们之间横 坐标的差值就是视差，即d＝a_x-a′_x。3D成像区域对应着双目视野的相交 区域。成像平面又被称为零视差区域，它是立体摄像机拍摄时的聚焦平面， 也是最适合观赏的区域。零视差区域前面的成像区域称为负视差区域，后 面的成像区域称为正视差区域。通常情况下，正视差区域的纵深比负视差 区域大，令这个比例为λ_ratio。如果一个3D成像物体的聚焦点所处位置超 过了负视差区域的上限，那么强烈的负视差就会影响视觉感知效果，严重 时甚至会产生“重影”现象。除此之外，根据3D成像原理，视差d与场 景的深度Z还有如下关系：

$d=\frac{{\mathrm{ft}}_c}{Z}---\left(1\right)$

其中，t_c表示双目间的距离(普通成年人t_c≈64mm)，f表示双目的焦距。 式(1)表明视差d由场景的深度Z(即景深)和成像系统的参数共同决定。 立体成像中的一些特性也可以通过这个关系映射到深度的分布中。另外， 3D成像设备的深度渲染范围是有限的，放映时的显示效果只能通过对深 度图的调整来实现。

本发明的深度归一化方法充分考虑了这些特点，根据场景的深度与视 差的关系，通过把场景中的主要物体聚焦到零视差平面附近来完成场景的 深度的自适应调整。

令当前帧所处视角下的主导深度为D_m、最大深度为D_l、最小深度为 D_s。主导深度D_m指的是三维空间中场景的主要物体距离所处视角下镜头 的平均距离，最大深度D_l指的是三维空间中场景距离所处视角下镜头的最 远距离，最小深度D_s指的是三维空间中场景距离所处视角下镜头的最近 距离。举例来说，某一视频场景的深度范围为68～126米，主要物体距离 所处视角下镜头的平均距离为80米，则D_l为126，D_s为68，D_m为80。

在归一化深度图中，深度变化范围用0～N_max的深度值来表示，并且 规定越近的物体所对应的深度值越大。例如：如果归一化后的深度图的每 个像素以UINT 8的类型来保存的话，那么归一化深度图的深度值范围是 [0，255]，此时N_max＝255；如果深度图的每个像素以双精度类型(double type) 数值来保存的话，那么归一化深度图的深度值范围是[0，1]，此时N_max＝1。 也就是说，N_max为归一化深度图的最大深度值。所以本发明的方法的深度 归一化函数为如下形式：

其中，x表示场景的初始深度值，y表示归一化深度图的深度值，是 转换算子，B₂为初始深度转换值上限，B₁为初始深度转换值下限。

在人类视觉系统中，人眼对深度变化的分辨能力随着距离的增大而递 减，这表明人类的立体感知能力对前景物体更加敏感，因此本发明中转换 算子根据上述特性采用了非线性变换算子，这样可以选用以下两种形式：

1)x表示初始深度值，此时B₁、B₂的取值范围为： 0＜B₁＜B₂＜1；

2)x表示初始深度值，此时B₁、B₂的取值范围为： 0＜B₁＜B₂＜+∞。

令B₃为对应零视差平面的初始深度转换值，则根据3D成像中的视差 区域原理可以推导出下面的公式：

λ_ratio的取值范围为1～6。

由此可以进一步推导出：

2、基于视差区域原理的深度归一化方法

图3是本发明的基于视差区域原理的2D/3D视频转换中深度归一化方 法的流程图。如图3所示，本发明的方法包括以下步骤：

首先，提取与2D视频帧相对应的初始深度图的场景高层信息。

所谓的初始深度图中的场景高层信息指的是与三维场景中的深度分 布有关的信息，例如最大深度、最小深度等。提取场景高层信息是通过对 初始深度图进行分析来实现。根据本发明的一个优选实施例，通过深度直 方图分别获得当前视频帧所处视角下的主导深度D_m、最大深度D_l和最小 深度D_s，以此作为从场景中提取出的场景高层信息。

具体来说，首先通过深度图统计可以直接获得场景中的最大深度D_l和最小深度D_s，然后分别以这两个深度上限和下限基准，按照直方图原理 把连续的深度变化空间划分为若干等间隔的深度区域，并统计出在初始深 度图中每个区域中对应的像素点个数，最后以像素点个数最多的深度区域 的均值作为所处视角下的主导深度D_m。

上述步骤完成之后

，根据前述步骤中得到的场景高层信息，基于3D视差区域原理对场 景的深度范围进行归一化调整。根据本发明的一个优选实施例，以零视差 平面和场景中的主导深度D_m为基准，通过前述的归一化函数对场景的深 度范围进行归一化调整。

具体来说，首先选定要采用的非线性变换算子及对应的初始深度 转换值上限B₁和初始深度转换值下限B₂，再由公式(4)计算得到零视差平 面对应的初始深度转换值B₃，最后结合公式(2)换算出归一化深度图的深度 值。

最后，输出经过归一化之后的深度图。

3、基于视差区域原理的深度归一化装置

图4是本发明的基于视差区域原理的2D/3D视频转换中深度归一化装 置的原理框图。如图4所示，本发明的深度归一化装置1用于对2D视频 的初始深度图进行归一化调整，包括预处理模块2和深度归一化模块3， 二者彼此电性连接。

其中，预处理模块2包括一个输入端，该输入端用于接收所述2D视 频的视频帧对应的初始深度图。该预处理模块2用于提取所述初始深度图 的高层信息，并将所提取的高层信息传送到深度归一化模块3。所述的提 取高层信息的步骤在上文中已有描述，在此不再赘述。该预处理模块2例 如可以由FPGA通过直方图检测算法实现。

所述深度归一化模块3用于基于3D视差区域原理，根据所述高层信 息对场景的深度范围进行归一化调整。所述的进行归一化调整的步骤在上 文中也已有描述，在此也不再赘述。该深度归一化模块3例如可以由FPGA 编程实现。

4、基于视差区域原理的2D/3D视频转换装置

本发明还涉及基于视差区域原理的2D/3D视频转换装置，本发明的 2D/3D视频转换装置的视频解码模块、3D渲染模块等均可以直接利用现 有技术，只不过将如前所述的基于视差区域原理的深度归一化装置替换现 有的深度归一化装置。

5、基于视差区域原理的2D/3D视频转换的实验验证

以下参照图5至图8来描述根据本发明的基于视差区域原理的深度归 一化方法相比于传统的深度归一化方法所具有的优点。

图5显示了实验视频中的一帧图像，图6显示了该图像的图层分区， 如图6所示，图层1、图层2、图层3分别表示该视频所描述的场景中三 种主要物体——树、花坛和房屋——所在的图像区域。

图7是采用传统的深度归一化方法与采用本发明的深度归一化方法对 各个图层的深度进行归一化处理后的深度稳定性对比图。其中，左图为采 用传统深度归一化方法处理后的深度稳定性分析图；右图为采用本发明的 深度归一化方法处理后的深度稳定性分析图。图中的各个点表示相应的图 层中平均深度在连续关键帧之间的变化情况，从左图与右图对比可见，本 发明相对于传统的深度归一化法，归一化后各图层的场景深度的波动均有 了明显的改善。

图8是采用传统的深度归一化方法与采用本发明的深度归一化方法对 实验视频的其中一幅图像的深度归一化后的对比图。其中，左图为采用传 统深度归一化方法得到的归一化深度图；右图为采用本发明的深度归一化 方法得到的归一化深度图。从图8中可见，本发明生成的归一化深度图中 图层之间的深度层次感更加分明。因此，本发明不仅具有很好的保证深度 提取稳定性的效果，还具有通过有效自调整合理利用深度空间提高3D渲 染效果的优点。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行 了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已， 并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、 等同替换、改进等，均应包含在本发明的保护范围之内。