三维视频虚拟视点合成中彩色混叠及阴影部分的处理方法

摘要

本发明属于3D视频领域，涉及一种三维视频虚拟视点合成中彩色混叠及阴影部分的处理方法。本发明是通过选择性映射左右视点深度图边界部分对应的彩色混叠和阴影部分与判断是否保留该彩色混叠和阴影部分来实现的。本发明消除了由彩色混叠和阴影部分造成的合成虚拟视点边界位置的失真，提高合成虚拟视点的主客观质量。

说明书

技术领域

本发明属于3D视频领域，涉及一种三维视频虚拟视点合成中彩色混叠及阴影部分的处理方法。

背景技术

传统双目立体视频及多视点视频由于无法实现深度自主调节已不能满足人们越来越高的视听需求。与之相比，新一代的基于深度数据和视点合成的三维视频系统能够利用基于深度图像的绘制（depth-image-based rendering,DIBR）技术合成虚拟视点图像，根据用户需求调整最终显示的左右视图的视差大小，改善用户视觉体验，因而得到了学术界和工业界的广泛关注。

虚拟视点合成通过基于深度图像的三维投影（3D warping）将三维场景在一个视点下拍摄的彩色图像映射到另一个虚拟视点的图像平面，形成投影图像，即首先确定当前视点中像素在虚拟视点中的投影位置，然后将该像素的像素值赋予投影位置的像素。由于虚拟视点与相机视点位置不同，即拍摄角度不同，不同视点图像的信息不同，因此虚拟视点图像的部分信息，即在虚拟视点下暴露出来在原视点中却被遮挡的区域，并不能由上述相机视点获取。当采用两个相机视点共同内插（view interpolation）合成一个虚拟视点时，原本无法从某个相机视点图像中获取的部分虚拟视点信息能够在另一个视点相机图像中找到，所以此时得到的虚拟视点图像比仅使用一路相机图像进行视点合成时得到的虚拟视点图像具有更好的图像质量。

但是，由于相机捕获的彩色图像边界一般不是尖锐变化，而是具有一个若干像素跨度的混叠部分，即前景彩色与背景彩色的混合（可以认为是前景彩色与背景彩色经过低通滤波后的结果），而且由于深度获取技术的限制，深度图在物体边缘的质量普遍较差，所以物体边缘在彩色图和深度图中的边界不能高度吻合，导致产生边界合成失真。另外，传统有损编码可能会使彩色和深度的边界变得模糊，加剧合成视点的边缘失真。另一方面，由于部分场景在采集时，并不能完全假设场景物体为朗伯体，物体周围可能存在阴影，在视点映射后，阴影部分像素将偏离物体，进而影响背景，产生背景噪音。

目前，针对彩色图边界混叠部分的虚拟视点合成算法，如Xuyuan Xu等提出将彩色图边界混叠部分的深度值赋为前景深度值进行虚拟视点合成，此时能够保证前景彩色到背景彩色的平滑过渡，但在前景至背景的边界处，左视点的混叠部分将与右视点的正确彩色信息重合，导致视点融合（view blending）后彩色错误(在背景到前景的边界处，右视点的混叠部分将与左视点的正确彩色信息重合，导致视点融合后彩色错误)，如图1和2所示。Ce Zhu等人提出边界区域的失配抑制对齐增强法，其中包括抑制彩色混叠部分的映射，该方法能够有效地减少边界失真，但同时因为彩色混叠部分（其中含有部分前景信息）不能映射至虚拟视点，虚拟视点中前景物体在边界处将有所损失。另一方面，在传统的视点合成算法中，由于没有考虑在深度图边界位置左右视点的前景差异，导致视点融合后左右视点的部分正确前景信息与混叠部分融合，因此产生错误的融合结果，降低最终合成视点的质量。本发明通过对深度图边界位置的前景、背景以及彩色混叠和阴影部分的正确模拟，提出了相应的彩色混叠和阴影部分的映射方案，提高了虚拟视点合成质量。

发明内容

本发明的目的在于提供一种三维视频虚拟视点合成中彩色混叠和阴影部分的处理方法。

本发明的目的通过如下步骤实现：

S1、选择性映射左右视点深度图边界部分对应的彩色混叠和阴影部分，包括：

S11、在深度图上建立平面直角坐标系XOY，规定X轴的正方向为右；

S12、从左向右进行扫描，判断深度图边界部分对应的彩色混叠和阴影部分的深度变化为前景到背景或背景到前景；

S13、若S12所述彩色混叠和阴影部分对应的深度变化为前景到背景的变化，则抑制左视点的彩色混叠和阴影部分所有像素的映射，将右视点的彩色混叠和阴影部分的所有像素的深度值和右侧相邻的一个背景像素的深度值赋为前景像素的深度值进行独立映射保存，其中，与之间像素位置差为1，其中，为彩色混叠和阴影部分的最右侧的一个像素，

若S12所述彩色混叠和阴影部分对应的深度变化为背景到前景的变化，则抑制右视点的彩色混叠和阴影部分的所有像素的映射，将左视点的彩色混叠和阴影部分的所有像素的深度值和左侧相邻的一个背景像素的深度值赋为前景像素的深度值进行独立映射保存，其中，与之间像素位置差为1，其中，为彩色混叠和阴影部分的最左侧的一个像素；

S2、利用S13所述彩色混叠和阴影部分相邻的背景像素p²的像素值判定是否保留彩色混叠和阴影部分，其中，p²包括和

当C_diff＜T₁时，判定C₁与C₀相似，则用独立映射的彩色混叠和阴影部分全部像素覆盖虚拟视点中对应位置的像素，即，保留S13所述彩色混叠和阴影部分，其中||C₁|-|C₀||＝C_diff，C₁为S13所述彩色混叠和阴影部分相邻的背景像素p²的像素值，C₀为该p²像素映射至虚拟视点中对应位置所在像素的像素值，C_diff为像素绝对值的绝对差，T₁为阈值；

当C_diff≥T₁时，判定C₁与C₀不相似，则不对彩色混叠和阴影部分进行保留。

进一步地，5≤T₁≤10。

本发明的有益效果是：本发明通过对深度图边界位置的前景、背景以及彩色混叠和阴影部分的正确模拟，提出了一种三维视频虚拟视点合成中彩色混叠和阴影部分的处理方法，消除了由彩色混叠和阴影部分全部造成的合成虚拟视点边界位置的失真，提高合成虚拟视点的主客观质量。

附图说明

图1为前景-背景设置的左视点示意图。

图2为前景-背景设置的右视点示意图。

图3为前景-背景设置的左视点映射的虚拟视点示意图。

图4为前景-背景设置的右视点映射的虚拟视点示意图。

图5为Art的原始3视点图。

图6为利用虚拟视点合成参考软件合成的虚拟视点图，其中黑色椭圆标记区域为边界区域失真较大位置。

图7为经过本专利处理后合成的虚拟视点图，其中黑色椭圆标定区域为图6黑色椭圆标定区域的对应区域。

具体实施方式

下面结合附图来说明本发明的具体实施方式：

实验所用图为Art，视点合成为利用2视点和4视点合成3视点。

S1、选择性映射左右视点深度图边界部分对应的彩色混叠和阴影部分，包括：

S11、在深度图上建立平面直角坐标系XOY，规定X轴的正方向为右；

S12、从左向右进行扫描，判断深度图边界部分对应的彩色混叠和阴影部分的深度变化为前景到背景或背景到前景；

S13、若S12所述彩色混叠和阴影部分对应的深度变化为前景到背景的变化，则抑制左视点的彩色混叠和阴影部分所有像素的映射，将右视点的彩色混叠和阴影部分的所有像素的深度值和右侧相邻的一个背景像素的深度值赋为前景像素的深度值进行独立映射保存，其中，与之间像素位置差为1，其中，为彩色混叠和阴影部分的最右侧的一个像素，

若S12所述彩色混叠和阴影部分对应的深度变化为背景到前景的变化，则抑制右视点的彩色混叠和阴影部分的所有像素的映射，将左视点的彩色混叠和阴影部分的所有像素的深度值和左侧相邻的一个背景像素的深度值赋为前景像素的深度值进行独立映射保存，其中，与之间像素位置差为1，其中，为彩色混叠和阴影部分的最左侧的一个像素；

S2、利用S13所述彩色混叠和阴影部分相邻的背景像素p²的像素值判定是否保留彩色混叠和阴影部分，当所述背景像素p²的像素值与p²所在虚拟视点中映射到位置的像素值相似时，则认为该彩色混叠和阴影部分仍适合于当前前景至所述背景的过渡，此时应该保留，其中，p²包括和

当C_diff＜T₁时，判定C₁与C₀相似，则用独立映射的彩色混叠和阴影部分全部像素覆盖虚拟视点中对应位置的像素，即，保留S13所述彩色混叠和阴影部分，其中||C₁|-|C₀||＝C_diff，C₁为S13所述彩色混叠和阴影部分相邻的背景像素p²的像素值，C₀为该p²像素映射至虚拟视点中对应位置所在像素的像素值，C_diff为像素绝对值的绝对差，T₁为阈值，5≤T₁≤10，T₁的设定与期望彩色质量有关；

当C_diff≥T₁时，判定C₁与C₀不相似，则不对彩色混叠和阴影部分进行保留。

下面结合附图进行对比，图6由现有的虚拟视点生成软件合成的图中，黑色椭圆标记区域位置呈现出较强烈的背景噪声，表现为背景区域中的接近前景色的斑点。而在经过本专利处理后的图7中，背景区域中几乎不存在背景噪声，提高了主观质量。另一方面，在由现有的虚拟视点生成软件合成的图6的黑色椭圆标记区域中，在靠近前景位置，有明显的前景腐蚀现象，而在经过本专利处理后图7，与原始图相比，前景腐蚀现象有所减弱。