法律状态公告日
法律状态信息
法律状态
2019-08-02
授权
授权
2017-03-01
实质审查的生效 IPC(主分类):G06T3/40 申请日:20160827
实质审查的生效
2017-01-25
公开
公开
技术领域
本发明属于图像处理和计算机视觉领域,涉及一种基于虚拟视点绘制质量的深度图上采样方法。
背景技术
近年来,深度信息已经广泛地应用于3DTV、3D重建和姿态识别等多个领域。目前主流的深度获取方式可以分成以下三类:立体匹配法、激光扫描法和距离感知法。立体匹配法是一种被动获取深度信息的方式,该方法通过对应点匹配和三角网格变换计算两个或多个视点间的深度信息。激光扫描法通过对目标场景的片扫面方式来获取精确的深度线索。相比与上述两种方式,主动深度获取方式获得了研究人员更多的关注,已经成为主流的深度获取方法。但是该方法的缺点是获取深度图分辨率低。在基于深度图像的虚拟视点绘制技术(DIBR)中,要求深度图的分辨率与彩色纹理图像的分辨率匹配。因此,研究深度图超分辨率重建算法是十分必要的。
虚拟视点绘制技术是自由立体显示技术中的关键技术之一,在给定稀疏视点图像的基础上,可以生成多个虚拟视点的彩色图像,满足自由立体显示的需求。该技术可以分成两大类:基于模型的绘制(MBR)和基于图像的绘制(IBR)。MBR技术主要是利用计算机图形学技术,对真实的立体场景进行三维建模,再对模型进行绘制、着色和投影等处理,最终生成特定视点的图像。DIBR是IBR技术中关注度最高的方法,该方法将深度信息融入到IBR技术中,结合了图像及其对应的深度线索绘制生成其他视点的纹理图像,该方法的核心是3D图像变换思想。
深度图超分辨率重建是一种恢复低分辨率深度图细节、锐化边缘和增加空间分辨率的技术。深度图的重建也是一个病态的问题,算法需通过引入正则先验项将问题转换为常态问题。“Depth-Plus-Color”的超分辨率重建算法利用彩色图像信息引导深度图实现上采样。联合双边上采样算法,权重模式滤波和边缘引导滤波算法都是利用相关的彩色信息直接进行上采样滤波。深度加彩色这类算法中最典型的是基于单个深度图的超分辨率重建算法,该算法又可以分成两类:基于优化的方法和预滤波的方法。基于优化的超分辨率重建算法通常是将深度图上采样视为一个马尔科夫随机场(MRF)或是最小二乘法的问题。Diebel等人提出采用连续的MRF将高分辨率彩色图和低分辨率深度图结合来实现超分辨率重建。MRF算法中连续项用于惩罚相邻像素之间的差异,使得具有相似纹理的像素有相似的深度值。Zhu等人通过考虑时域连续性将传统的空间MRF算法拓展到动态的MRF算法,提高了动态场景的高分辨率深度图质量。基于滤波的算法通常根据相关纹理信息设计上采样滤波器。Kopf等人提出一种同时考虑深度平滑和彩色相似性的联合双边滤波算法。为了解决深度图存在的伪影现象问题,Kim等人在JBU算法的基础上提出了自适应联合双边滤波算法。该方法将一个控制参数和平滑参数引入到上采样过程中,进一步改善了超分辨率深度图的质量。然而上述这些方法都忽略了深度图在虚拟视点绘制技术中的重要作用。目前,在深度编码领域已经引入虚拟视点绘制质量作为编码深度图质量的评价指标。因此,在深度图超分辨率技术中考虑虚拟视点绘制质量是十分必要且有应用价值的。
发明内容
本发明的目的是提供一种提高深度图超分辨率重建的质量的基于虚拟视点绘制质量的深度图上采样方法。本发明的技术方案如下:
一种基于虚拟视点绘制质量的深度图上采样方法,步骤如下:
1)对当前视点i低分辨率深度图采用双线性插值算法,得到其对应的初始高分辨率深度图
2)确定当前视点的初始深度图
Vik(xk,yk)=Vik(xi-dik,yi)=Ii(xi,yi)
其中,Vik(xk,yk)表示以当前视点i为基准向虚拟视点视图中坐标为(xk,yk)的对应像素点填充的彩色值,dik是当前视点深度图的深度值;
3)计算惩罚因子λc,其公式如下:
>
其中,Vik(q)表示由当前视点i的中心像素点对应于虚拟视点中的匹配邻域像素点q的像素值,Vik′(q)表示由邻域像素点q引起的空洞的填补值,σλ表示惩罚因子控制参数;
4)对初始高分辨率深度图
>
>
其中,Sc和Sd分别表示彩色和深度边缘分割图,μc,p和μd,p分别表示深度边缘图和彩色边缘图的当前像素窗口内均值,Iq表示当前像素点的邻域像素集合;
5)根据上述计算的深度边缘分割图和彩色边缘分割图,计算匹配比率,其公式如下:
>
SAD(Sc,Sd)=|Sc-Sd|
其中,SAD表示Sc和Sd之间的绝对平均值,N表示窗口区域像素的个数;
6)根据匹配比率和深度值的控制参数计算平滑因子,其公式如下:
>
7)计算初始高分辨率深度图
>
其中,p表示当前像素点,q表示p的Ω邻域像素点集合,
8)根据上述权重计算出当前视点最终的深度值,其公式如下所示:
>
其中,
本发明考虑了虚拟视点绘制质量对于深度图上采样的影响,将虚拟视点绘制质量作为滤波权重的重要核,对初始高分辨率图像的深度值进行改善,同时针对虚拟视图中由前后景交替引起的空洞现象,在虚拟视点绘制质量核中引入惩罚因子,以降低此情况下邻域像素点对当前像素点的深度值的影响。本发明提高了深度图超分辨率重建及绘制虚拟视图的质量,对于降低深度图伪影有良好的效果。
附图说明
图1为用于测试的低分辨率深度图和对应的彩色纹理图。
图2为技术方案的流程图。
图3为本发明上采样得到的高分辨率深度图。
图4为本发明上采样得到的深度图与对应的彩色图绘制的虚拟视图。
具体实施方式
为了克服现有技术的不足,本发明考虑虚拟视点绘制质量对于深度图上采样的影响,提出一种基于虚拟视点绘制质量的深度图上采样方法,具体的技术方案分为下列步骤:
1.虚拟视点绘制
首先对低分辨率深度图采用双线性插值算法,得到其对应的初始高分辨率深度图。然后利用初始高分辨率深度图与其同分辨率的彩色图像进行虚拟视点绘制,得到相邻视点的虚拟视图。该技术中核心的技术主要包括视图插值和噪声处理。
为了绘制以当前视点i为基准的视点k的虚拟视图Vik,首先需要找到当前视图与虚拟视点视图间对应的像素匹配关系式。假设P1(xi,yi)和P2(xk,yk)分别是当前视点和虚拟视点像素点。那么焦距、视差值和像素点坐标三者之间的关系式如下所示:
>
其中,dik表示当前视点和虚拟视点间的视差值,参数B,f和Z分别表示两个相机中心点间的基线距离、拍摄相机的焦距和场景的实际深度值。
由上述关系式可以推导出两个视点间匹配像素点的坐标变换关系式如下所示:
xk=xi-dik,yi=yk
通过上述像素点间的匹配关系式,确定当前视点的初始深度图中各个像素点在虚拟视图中的对应匹配位置坐标信息,并获取初始深度图的位置坐标信息和对应的颜色信息,再用相应的彩色值对虚拟视图中匹配像素点进行填充。该步骤中所采取的插值公式如下所示:
Vik(xk,yk)=Vik(xi-dik,yi)=Ii(xi,yi)
其中,Ii(xi,yi)表示当前视图在像素点坐标为(xi,yi)的彩色值,Vik(xk,yk)表示以当前视点i为基准向虚拟视点视图中坐标为(xk,yk)的对应像素点填充的彩色值,dik是当前视点深度图的深度值。
2.惩罚因子计算
通过上述虚拟视点绘制获得虚拟视点的彩色图像,但是在这一过程中会出现空洞现象,该现象主要是由于前景和后景之间交替处会发生遮挡和被遮挡现象,从而导致绘制分散,出现空洞。针对上述这一问题,算法中引入惩罚因子λc,该惩罚因子通过计算像素点实际绘制的彩色项素值与空洞填充的像素值之间的差值得到。λc的计算公式如下:
>
其中,Vik(q)表示由当前视点i的中心像素点对应于虚拟视点中的匹配邻域像素点q的像素值,Vik′(q)表示由邻域像素点q引起的空洞的填补值,σλ表示惩罚因子控制参数。
3.三边滤波深度图上采样
对初始高分辨率深度图用sobel算子进行梯度计算,检测出深度图的边缘区域;然后保留平坦区域的深度像素值,对于边缘像素值采用三边滤波深度图上采样方式处理。
三边滤波深度图上采样的权重由深度高斯核,彩色高斯核和虚拟视图质量核构成,具体的权重函数公式如下所示:
>
其中,p表示当前像素点,q表示p的Ω邻域像素点集合,
1)根据检测的边缘图像,对深度边缘图和彩色边缘图进行分割,获得当前像素窗口的深度边缘分割图和彩色边缘分割图。首先计算深度边缘图和彩色边缘图的当前像素窗口内均值,再根据下面的公式将深度图和彩色纹理图分成两个区域:
>
>
其中,Sc和Sd分别表示彩色和深度边缘分割图,μc,p和μd,p分别表示深度边缘图和彩色边缘图的当前像素窗口内均值,Iq表示当前像素点的邻域像素集合。
2)根据上述计算的深度边缘分割图和彩色边缘分割图,计算匹配比率,其公式如下:
>
SAD(Sc,Sd)=|Sc-Sd|
其中,SAD表示Sc和Sd之间的绝对平均值,N表示窗口区域像素的个数。
3)根据匹配比率和深度值的控制参数计算平滑因子,其定义如下:
>
当匹配比率很大时,表示深度图和彩色图像匹配度很低,彩色值高权重值越小。
4)计算深度图边缘像素点所在整个窗口内的平均值和当前像素点在窗口内所属的分割区域内的平均值,然后再根据匹配比率和两个平均值计算控制参数,其公式如下:
>
其中,μL表示当前像素点在窗口内所属的分割区域内的平均值,μw表示深度图边缘像素点所在整个窗口内的平均值。
通过上述的虚拟视点绘制技术绘制出虚拟视图Vik,由像素点间坐标匹配关系式确定当前深度值在虚拟视图中的坐标位置,然后计算虚拟视图中所匹配的当前视点与其邻域像素值的差,再加入惩罚因子,从而获得虚拟视点绘制质量权重项。最后结合深度图和彩色权重计算出当前视点最终的深度值,如下公式所示:
>
其中,
机译: 绘制方式,绘制设备,在记录媒体的每个指定配置单位中显示从虚拟视点开始的距离的值,
机译: 图像处理设备,图像处理方法,图像拾取设备和存储介质,其在使用位置的变化量来生成虚拟视点图像时,计算校正质量以校正视点图像的抖动和用于生成虚拟视点的混合比。成像单元
机译: 通过低分辨率图像的分辨率重构产生虚拟视点图像并能够降低虚拟视点图像的图像质量的降低的多视图图像的分辨率重构方法及其装置