面向平面显示设备的视频立体化绘制方法

摘要

本发明公开一种面向平面显示设备的视频立体化绘制方法，步骤包括：提取彩色帧和深度帧：获取实时输入的彩色帧I

说明书

技术领域

本发明涉及数字图像处理领域，尤其是指一种不依赖于特殊拍摄设备、显示设备、观看设备的面向平面显示设备的视频立体化绘制方法。

技术背景

立体视频技术是未来多媒体技术的发展方向，在规划设计方案评估、影视娱乐等领域有广泛的应用前景。

现有的立体技术主要分为3D眼镜式和非眼镜式。前者包括光分法、时分法、分色技术等；后者包括光屏障式技术、柱状透镜技术、全息投影等。以上技术都有较好的立体效果，在影视行业也得到了应用，但是，以上这些技术仍然存在以下缺点：1、大都依赖于3D眼镜、特殊显示屏幕等辅助设备，大大地限制了其推广使用；2、滤光眼镜、栅栏式显示屏、柱状透镜显示屏等辅助设备降低了原视频的亮度和分辨率；3、具有较高的制造和维护成本。

因而，研究一种不依赖于特制设备的视频立体化技术，在立体视频亟需普及的今天具有重要意义。

发明内容

本发明所要解决的技术问题是，提供一种面向平面显示设备的视频立体化绘制方法，以改善传统的立体视频必须依赖设备才能观看，不利于推广的问题。

为解决上述技术问题，本发明采用如下技术方案：一种面向平面显示设备的视频立体化绘制方法，包括如下步骤：

步骤一、提取彩色帧和深度帧：使用Kinect深度相机获取实时输入的彩色帧I_c和深度帧I_d序列；

步骤二、深度帧拉伸：对深度帧进行线性变换、双边滤波后得到图像I_d’；

步骤三、分割精细的前景掩码：对相邻的彩色帧I_c应用帧差法对背景进行减除得到粗略前景F_r，再对粗略前景F_r运用图像形态学腐蚀，剔除细小的明亮区域，删除较小的分支只保留面积最大的分支，分割出粗略的运动前景掩码，对于每一帧，寻找该帧粗略前景F_r中深度最小的点p，并进行广度优先搜索，寻找其在三维场景中连续的点，得到精细的前景掩码F_p；

步骤四、计算参照线位置：在场景的左半边和右半边分别确定参照线l_left和l_right；

步骤五、应用摄像机几何原理逐层将彩色帧I_c和图像I_d’重新绘制到成像平面上的新彩色帧R_c和新深度帧R_d：对于彩色帧I_c和图像I_d’中的点，按深度由大到小均分为多层，逐层对彩色帧I_c和图像I_d’中的点进行摄像机几何摄影并修复其中的裂纹，最后将修复后的图层绘制到新彩色帧R_c和新深度帧R_d上；

步骤六、构造场景三角网格修复新彩色帧R_c和新深度帧R_d中出现的像素缺失：将彩色帧I_c和新深度帧I_d’中相邻的三个场景点连成一个个三角形网格，使整个场景被拟合成一个多面体，m点是摄像机成像平面π上的像素缺失点，连接过投影中心p和m点的直线l，如果l与某个三角形网格相交于点X_c，则m点是点X_c投影在摄像机成像平面π的点，对X_c处的颜色值进行修复；

步骤七、对远景进行适当的模糊：记两条白线的平均深度为d_w，对新彩色帧R_c中深度大于d_w的点进行模糊，深度越大赋予越大的模糊窗口；

步骤八、在R_cb中插入参考线得到结果图像R_cbp：将步骤四中计算出的两条参照线的位置记为Loc，对Loc施加摄像机几何透视变换，得到新的参照线位置Loc’并插入R_cb中获得的结果图像R_cbp，即完成整个绘制过程。

进一步地，在所述步骤一中，针对深度帧I_d中存在像素缺失导致的黑洞和深度帧轮廓与彩色帧轮廓不匹配的现象，采用深度图求精算法对深度图进行修复，得到的修复后的彩色帧和深度帧。

进一步地，在所述步骤二中，统计所有深度帧I_d中的最大深度和最小深度，得到视频的深度变化范围(d₁，d₂)，并利用线性变换将其映射到深度范围为(d_min, d_max)的图像I_d’，其中，d₁ > d_min，d₂ < d_max，其计算公式为：

               (1)

完成线性变换后再对图像I_d’进行双边滤波，得到保留边缘并平滑的深度帧。

进一步地，所述步骤四的具体操作过程为，确定一个虚拟平面来烘托前景景深，在精细的前景掩码F_p中标记精细的三维场景中的前景，计算参照线位置算法如下：

将精细的前景掩码F_p中的前景投影成俯视前景F_v，并且计算俯视前景F_v的最小外接矩形B。将所有俯视前景标记到运动前景俯视轨迹图V上，找到所有帧中重心深度最小的外接矩B₁，重心深度最大的外接矩B₂，作重心深度最小的外接矩B₁、重心深度最大的外接矩B₂的连线，求得其斜率k，运动前景俯视轨迹图V中非零点集合记为集合P，其中的点元素记为p；

将所有满足以下公式(2)的点l作为参照线位置的候选点：

                          (2)

其中，p为集合P中的像素点，代表前景经过的轨迹，d_s为开始搜索参照线深度，d_e为结束搜索参照线深度，d_s和d_e设置为俯视轨迹最小外接矩形minBoundRect的三等分处。

进一步地，根据斜率k的正负符号，在满足公式(2)的前提下，进行如下处理：

若k < 0，前景的大致运动方向为右上角到左下角，则考虑以下情况：

                  (3)

若k > 0，前景的大致运动方向为左上角到右下角，则考虑以下情况：

                (4)

对于运动前景轨迹俯视图V中满足公式(2)的点，作为参照线l_left、l_right的候选点，l₁、l₂为画面的三等分线，选择l_left时优先靠近l₁的点，在选择l_right时优先靠近l₂的点，具体选择按照以下方式处理：

当k < 0，在优先满足公式(3)的条件下，距离l₁、l₂近的点优先，在距离相同的条件下，深度较大的点优先；

当k > 0，在优先满足公式(4)的条件下，距离l₁、l₂近的点优先，在距离相同的条件下，深度较大的点优先。

进一步地，步骤五中，将场景点X_c重新绘制到成像平面点m的映射表达式为以下公式(5)：

                   (5)

其中，x，y，z为场景点X_c(x, y, z)在对应的o-xyz坐标系中的坐标，x’，y’为成像平面点m(x, y)在o-xy坐标系中的坐标，f为投影中心p到成像平面中心O_c的距离，width，height为成像平面的宽和高。

进一步地，步骤五中，对I_c和I_d’中的点采用inpainting算法逐层修复其中的裂纹。

进一步地，步骤六中，X_c处的颜色值由它的顶点pi,p_i+1,p_i+2根据以下公式（6）计算得出：

              (6)。

进一步地，步骤七中，对于新彩色帧R_c中的所有像素点p，R_d中都有其对应的深度d_p，根据d_p计算p点处的模糊窗口大小WinSize：

                (7)

其中，depth_max为场景中的最大深度，d_w为两条参照线的平均深度，d_p为p点深度，win_max为depth_max处对应的模糊窗口，win_min为d_w处对应的模糊窗口。

进一步地，步骤八中，对Loc施加如公式（7）所示的摄像机几何透视变换，得到新的参照线位置Loc’。

通过采用上述技术方案，本发明具有以下技术效果：

1、本发明不依赖于任何特殊的显示或观看设备，仅对视频进行数字图像处理，因而对原视频的亮度和分辨率没有影响，相对于传统的依赖的视频立体化技术，既利于推广又节约了制造和后期维护成本。

2、本发明使用两条参照线确定一个虚拟的平面，该虚拟平面相当于显示器的屏幕，运动的前景从该虚拟平面后方运动到前方的过程给人带来运动前景穿出了显示器的视觉感受，从而呈现出动态立体效果。

3、本发明使用了摄像机几何原理将三维场景中的点投影到成像平面，重新绘制后的彩色图很好地从视觉上反映了深度远近的透视关系。

4、不需要任何硬件设备作为辅助，可以在对视频帧进行图像处理的基础上烘托和拓展视频景深，拉大场景中的透视关系，同时保留原视频的亮度和分辨率，在平面显示设备上可以较好的突出运动前景、增强视频的动态立体呈现效果。

5、此视频立体化技术可用于影视娱乐，广告传媒等。

附图说明

图1是本发明面向平面显示设备的视频立体化绘制方法流程图。

图2是Kinect采集彩色帧I_c和深度帧I_d结果图。

图3是拉伸后的深度图I_d’。

图4是由前景掩码得到前景投影示意图。

图5是由前景运动轨迹俯视图V分析前景运动方向。

图6是从候选点中筛选l_left、l_right示意图。

图7是基本针孔模型原理图。

图8是用摄像机几何投影重新绘制后的场景。

图9用X_c的像素值修补m处像素缺失示意图。

图10 是修复像素缺失后的彩色帧R_c和深度帧R_d。

图11是远景模糊后的彩色帧R_cb。

图12是插入参照线后的彩色帧R_cbp。

图13是原视频彩色帧I_c序列。

图14是重新绘制的彩色帧R_cbp序列。

图15是面向平面显示设备的视频立体化绘制方法实施例展示效果。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

为方便描述和理解本发明，首先对本发明中提及的字母编码及其对应的技术含义定义如下：I_c为输入的彩色帧，I_d为输入的深度帧，I_d’为深度帧I_d经过线性变换、双边滤波后得到的图像。F_r为对I_c使用帧差法得到的粗略前景。F_p为在F_r基础上结合深度图和BFS算法分割出的精细前景掩码，F_v为F_p投影在俯视角度上的前景俯视图，V为所有帧的F_v非零像素点叠加得到的前景俯视轨迹图，l_left和l_right为确定虚拟平面的两条参考线，Loc为两条参照线的位置，R_c和R_d分别为I_c、I_d’进行透视变换后绘制成的新的彩色帧和新的深度帧，R_cb为对R_c中的远景进行远景模糊的结果图像，Loc’为两条参照线进行透视变换后的位置，R_cbp为R_cb中插入Loc’处的参照线后得到的结果图像。

而本发明中的参数及其作用也如下表所示：

表1 参数列表

参数名称说明d_min深度图Id拉伸的深度值下限，一般设为1，d_min越小，景深拓展越显著d_max深度图Id拉伸的深度值上限，一般设为255，d_max越大，景深拓展越显著win_min远景模糊中高斯滤波器的最小窗口，一般设为1，win_min越大，远景模糊程度越大win_max远景模糊中高斯滤波器的最大窗口，一般设为15，win_max越大，远景模糊程度越大d_s开始搜索参照线的深度，一般设为运动轨迹最小外接矩形高的30%处d_e开始搜索参照线的深度，一般设为运动轨迹最小外接矩形高的70%处

本发明提供一种面向平面显示设备视频立体绘制方法，其通过对视频彩色帧和深度帧进行重新绘制以增强其立体效果。整体而言，该方法通过综合应用虚拟景深烘托平面，基于摄像机几何原理拓展景深和基于高斯滤波器营造景深等方法，面向平面显示设备对立体视频进行重绘制，使得在传统平面显示设备上也能呈现出立体效果。

本发明的立体化视频绘制方法的基本原理是：

第一阶段，使用两条参照线（白线）确定虚拟平面以烘托景深：首先，使用OpenNI驱动Kinect摄像机采集实时的彩色帧I_c和对应的深度帧I_d序列，针对深度帧I_d中像素缺失、深度帧轮廓与真实场景轮廓不匹配等问题，采用深度帧求精算法进行修复；接着，对深度帧施加线性变换，使得场景深度从较小的(d₁, d₂)范围映射到较大的(d_min, d_max)范围，由于线性变换使得原本连续的场景点出现了较大的深度差，因此对变换后的深度帧进行双边滤波，在保留边缘的前提下平滑深度帧，得到新的深度帧I_d’；然后，对相邻的彩色帧I_c应用帧差法，得到粗略的运动前景图F_r，在此基础上结合深度信息和广度优先搜索BFS，分割出精细的运动前景F_p，将三维场景中的运动前景F_p进行标记，并将其投影到俯视图V中，根据运动前景俯视图V的运动轨迹特点，计算两条参照线l_left和l_right的位置Loc。

第二阶段，对嵌入虚拟平面后的彩色帧进行景深拓展和营造：首先，采用摄像机针孔模型对场景中的点进行透视变换；然后，将变换位置后的场景重新绘制在新的彩色帧R_c和深度帧R_d上，绘制后的彩色图R_c模拟了摄像机成像近大远小的特点，从而更好地表达出了拓展后的景深；接着，构造场景三角形网格对彩色帧R_c和深度帧R_d中出现的像素缺失进行修复，对R_c中的远景加上适当的模糊以营造视差，制造近实远虚的效果，得到彩色帧R_cb；最后，对第一阶段计算得出的参考线位置Loc也进行透视变换得到新位置Loc’，并在R_cb插入参照线，即可得到嵌入了虚拟平面的彩色帧R_cbp。该虚拟平面相当于显示器的屏幕，而前景从显示器的屏幕内“冲”了出来，产生动态立体效果。至此，即获得了能在普通平面显示设备上放映的具有动态立体效果的视频。

以下结合图1~图15所示对本发明面向平面显示设备的视频立体化绘制方法的具体流程详细描述如下：

步骤一：提取彩色帧和深度帧。使用Kinect深度相机获取实时输入的彩色帧I_c和深度帧I_d序列。深度帧I_d中存在像素缺失导致的“黑洞”和深度帧轮廓与彩色帧轮廓不匹配的现象，需要进行修复，具体实施时，可以参考文献1（－Jiao J, Wang R, Wang W, et al. Local Stereo Matching with Improved Matching Cost and Disparity Refinement[J]. Multimedia IEEE, 2014, 21(4):16 - 27）（改进匹配成本和视差细化的局部立体匹配，焦剑波、王荣刚等）中提出的深度图求精算法对深度图进行修复，得到的彩色帧和深度帧如图2所示。

步骤二：深度帧拉伸。统计所有深度帧I_d中的最大深度和最小深度，得到视频的深度变化范围(d₁, d₂)，并利用线性变换将其映射到深度范围为(d_min, d_max)的I_d’ (d₁ > d_min , d₂  < d_max)，I_d’为深度帧I_d经过线性变换、双边滤波后得到的图像，其计算公式为：

              (1)

对I_d’进行双边滤波，得到保留边缘并平滑的深度帧如图3所示。

步骤三：分割精细的前景掩码。对相邻的彩色帧I_c应用帧差法对背景进行减除得到F_r，再对F_r运用图像形态学“腐蚀”，剔除细小的明亮区域。删除较小的分支只保留面积最大的分支，分割出粗略的运动前景掩码。对于每一帧，寻找该帧粗略前景F_r中深度最小的点p，并进行广度优先搜索，寻找其在三维场景中连续的点，得到精细的前景掩码F_p，如图4(a)所示。

步骤四：计算参照线位置。在该步骤将在场景的左半边和右半边分别确定参照线l_left和l_right，确定一个虚拟平面来烘托前景景深。F_p中标记了较为精细的三维场景中的前景，计算参照线位置算法如下：

将F_p中的前景（图4(a)所示）投影成俯视前景F_v（图4(b)所示），并且计算F_v的最小外接矩形B。将所有俯视前景标记到一张图——运动前景俯视轨迹图V上。找到所有帧中重心深度最小的外接矩B₁，重心深度最大的外接矩B₂，作B₁、B₂连线，求得其斜率k。运动前景俯视轨迹图V如图5所示，记图中非零点集合为P，其中的点元素记为p。

如图6中所有满足以下公式(2)的点l，均可作为参照线位置的候选点：

                           (2)

其中，p为集合P中的像素点，代表前景经过的轨迹，d_s为开始搜索参照线深度，d_e为结束搜索参照线深度，d_s和d_e一般设置为俯视轨迹最小外接矩形minBoundRect的三等分处。

根据斜率k的符号，在满足公式(2)的前提下，我们做如下优先选择：

若k < 0，如图5(a)所示，则前景的大致运动方向为右上角到左下角，那么我们优先考虑以下情况：

                      (3)

若k > 0，如图5(b)所示，则前景的大致运动方向为左上角到右下角，那么我们优先考虑以下情况：

                     (4)

如图6，运动前景轨迹俯视图V中白色色块标记的区域均满足公式(2)，为参照线l_left、l_right的候选点，l₁、l₂为画面的三等分线。选择l_left时优先靠近l₁的点，在选择l_right时优先靠近l₂的点，以使得画面构图美观。

当k < 0，在优先满足公式(3)的条件下，距离l₁、l₂近的点优先；在距离相同的条件下，深度较大的点优先；

当k > 0，在优先满足公式(4)的条件下，距离l₁、l₂近的点优先；在距离相同的条件下，深度较大的点优先；

图6示范了一个k < 0的筛选结果，得到的参照线位置如图中标定的l_left, l_right所示。

步骤五：应用摄像机几何原理逐层将I_c和I_d’重新绘制到成像平面上的彩色帧R_c和深度帧R_d。对于I_c和I_d’中的点，按深度由大到小均分为layer[0]~layer[4]五层，逐层对I_c和I_d’中的点进行摄像机几何射影，并用inpainting算法修复其中的裂纹，最后将修复后的图层绘制到R_c和R_d上。图7示意了将场景点X_c重新绘制到成像平面点m的原理，该映射的表达式按公式(7)计算：

                  (5)

其中，x，y，z为场景点X_c(x, y, z)在图7 o-xyz坐标系中的坐标，x’，y’为m(x, y)在o-xy坐标系中的坐标。f为投影中心p到成像平面中心O_c的距离，width，height为成像平面的宽和高。映射后得到的R_c和R_d如图8(a)(b)所示。

步骤六：构造场景三角网格修复R_c和R_d中出现的像素缺失。如图8(a)(b)所示，R_c和R_d中存在的像素缺失导致的“黑洞”现象。将I_c和I_d’中相邻的三个场景点连成一个个三角形网格，整个场景就被拟合成一个多面体。利用场景网格修复像素缺失的原理如图9所示。图9中m点是摄像机成像平面π上的像素缺失点，连接过投影中心p和m点的直线l，若l与某个三角形网格相交于点X_c，那么可将m作为X_c投影在平面π的点。X_c处的颜色值可由它的顶点p_i, p_i+1,p_i+2通过如下的公式(6)计算出来：

               (6)

修复后得到的R_c和R_d如图10所示。

步骤七，对远景进行适当的模糊。记两条白线的平均深度为d_w，对R_c中深度大于d_w的点进行模糊，深度越大赋予越大的模糊窗口。对于R_c中的所有像素点p，R_d中都有其对应的深度d_p，根据d_p计算p处的模糊窗口大小WinSize：

               (7)

其中，depth_max为场景中的最大深度，d_w为两条参照线的平均深度，d_p为p点深度，win_max为depth_max处对应的模糊窗口，这里设为15，win_min为d_w处对应的模糊窗口，这里设为1。模糊后得到的R_cb如图11所示。

步骤八，在R_cb中插入参考线得到结果图像R_cbp。在步骤四中，已经计算出两条参照线的位置，记为Loc。对Loc也施加公式(7)所示的摄像机几何透视变换，得到新的参照线位置Loc’，插入参照线后的结果图像R_cbp如图12所示。

至此，本发明面向平面显示设备的视频立体化绘制方法即完成了所有步骤，原视频的帧如图13所示，而重新绘制的帧如图14所示，实施例展示效果如图15所示。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。