三维图像空洞填充方法

摘要

本发明公开了一种三维图像空洞填充方法，对于根据参考图像生成的目标图像中的空洞，采用图像序列中其他帧参考图像或对应目标图像进行填充，对于利用参考图像的方法，在参考图像中得到空洞边缘像素点对应的像素点，以该像素点为中心选取当前块，在其他帧参考图像中搜索得到匹配块，用该匹配块中的像素点对空洞点进行填充；对于利用目标图像的方法，在得到其他帧参考图像中的匹配块后，计算参考图像间块的运动矢量，再计算目标图像间块的运动矢量，以空洞边缘像素点为中心选取当前块，根据目标图像运动矢量得到其他帧目标图像的匹配块，再用该匹配块中的像素点对空洞点进行填充。本发明利用图像序列中其他图像信息进行空洞填充，填充效果较好。

说明书

技术领域

本发明属于三维图像变换技术领域，更为具体地讲，涉及一种三维图像空 洞填充方法。

背景技术

基于深度图像绘制(Depth Image Based Rendering,DIBR)技术根据参考图像 (Reference Image)及其对应的深度图像(Depth Image)来生成一幅新视点图像，即 目标图像。与传统的需要传递左右眼两路视频的3D视频相比，采用DIBR技术 之后仅需要传送一路视频及其深度图像就可生成立体图像对，而且可以很方便 的实现二维和三维的切换。正因为如此，DIBR技术在3D电视立体图像对(Stereo  Pair)的生成中得到了广泛应用。

通常，人们把需要采用DIBR技术的3D视频称为基于深度图像的3D视频 (Depth Image Based3D video)。DIBR技术可以很容易的由一幅参考图像、深度 图像以及摄像机的标定参数(Calibration Parameter)来生成目标图像，避免了由传 统视图生成方法所带来的计算复杂性。目前基于DIBR的视图合成算法多数采用 的流程是：深度图像预处理(Pre-Processing of Depth Image)、三维图像变换(3D  Image Warping)、空洞填充(Hole Filling)。要实现3D电视的可编辑功能，必须采 用视图合成技术实现3D内容的实时改变。

目前的三维图像变换方法有很大的局限性：处理的元素是像素点，只能将 参考图像的像素点的位置信息映射到目标图像；而参考图像的其它信息，例如 运动矢量/运动矢量场、Delaunay三角剖分结构、多尺度几何分析结果(如Bandlets 变换结果)都无法映射到目标图像，从而无法利用这些信息来进行空洞填充。

现有的空洞填充方法一般分为两大类：基于空域的空洞填充和基于时空结 合的空洞填充算法。其中，基于空域的空洞填充算法缺乏空洞区域的场景信息， 用来填充的像素不是真实场景的像素，而是通过一定的规则模拟出来的，填充 后会降低图像的逼真度；而基于时空结合的空洞填充算法虽然可以利用更多的 场景信息，用多个视点的参考图像来绘制虚拟视点的视图，从而得到较好的目 标图像，但需要较高的带宽来传输多路视频信息。迭代算法时间复杂度高，不 利于硬件实现。

发明内容

本发明的目的在于克服现有技术的不足，提供一种三维图像空洞填充方法， 利用图像序列中其他图像的信息，对三维图像变换后的空洞进行填充，从而获 得更好的填充效果。

为实现上述发明目的，本发明三维图像空洞填充方法，包括以下步骤：

S1：根据参考图像序列中的第k帧参考图像及其深度图，通过三维图像变换 得到目标图像及其深度图；

S2：选取用于空洞填充的第k′帧参考图像；

S3：依次对第k帧目标图像的各个空洞进行填充，填充方法为：

S3.1：当第k帧目标图像为右视图，则选取空洞右边缘的非空洞像素点，当 第k帧目标图像为左视图，则选取空洞左边缘的非空洞像素点，将该像素点记为 (u,v)，运用逆三维图像变换得到第k帧参考图像中的对应像素点(u′,v′)；

S3.2：在第k帧参考图像中以像素点(u′,v′)为中心，选取大小为N×N的块作 为当前块，其中N＝2n+1，n为正整数；

S3.3：在第k′帧参考图像中以像素点(u′,v′)为中心，在大小为M×M的搜索 窗中搜索得到最佳匹配块，其中M＞N，最佳匹配块的中心像素点记为

S3.4：当第k帧目标图像中的像素点(u+i,v+j)为空洞点时，将第k′帧参考 图像中的像素点及其深度值复制到该空洞点，其中i、j的取值范围分 别为-n≤i≤n、-n≤j≤n。

本发明还提供另外一种利用其他帧目标图像的三维图像空洞填充方法，包 括以下步骤：

S1：根据参考图像序列中的第k帧参考图像及其深度图，通过三维图像变换 得到目标图像及其深度图；

S2：选取用于空洞填充的第k′帧参考图像，根据该参考图像及其深度图， 同样通过三维图像变换得到目标图像及其深度图；

S3：依次对第k帧目标图像的各个空洞进行填充，填充方法为：

S3.1：当第k帧目标图像为右视图，则选取空洞右边缘的非空洞像素点，当 第k帧目标图像为左视图，则选取空洞左边缘的非空洞像素点，将该像素点记为 (u,v)，运用逆三维图像变换得到第k帧参考图像中的对应像素点(u′,v′)；

S3.2：在第k帧参考图像中以像素点(u′,v′)为中心，选取大小为N×N的块作 为当前块，其中N＝2n+1，n为正整数；

S3.3：在第k′帧参考图像中以像素点(u′,v′)为中心，在大小为M×M的搜索 窗中搜索得到最佳匹配块，其中M＞N，最佳匹配块的中心像素点记为(u″,v″)；

S3.4：计算当前块与匹配块之间的运动矢量mv_r，再根据运动矢量mv_r计算 第k帧目标图像与第k′帧目标图像的运动矢量mv_s，计算公式为：

${\mathrm{mv}}_s=K_s{R}_s{R}_r^{-1}{K}_r^{-1}\left(\begin{array}{c}\frac{z_r^{\prime }}{z_s^{\prime }}{\mathrm{mv}}_r+\frac{\left(z_r^{\prime }\right)}{z_s^{\prime }}-\frac{z_r}{z_s}\end{array},\left(\begin{array}{c}{u}^{\prime }\\ v^{\prime }\\ 1\end{array}\right)\right)-K_s{R}_s{R}_r^{-1}{T}_r(\frac{1}{z_s^{\prime }}-\frac{1}{z_s})+K_s{T}_s(\frac{1}{z_s^{\prime }}-\frac{1}{z_s})$

其中，K_s和K_r分别表示目标图像和参考图像所对应摄像机的内部参数矩 阵，R_s和R_r分别表示目标图像和参考图像所对应摄像机的旋转变换矩阵，T_s和T_r分别表示目标图像和参考图像所对应摄像机的平移变换矩阵，上标-1表示矩阵 求逆，其中，z_s＝(R_s[x_w,y_w,z_w]^T+T)₃，z′_s＝(R_s[x′_w,y′_w,z′_w]^T+T)₃，(·)₃表示向量 的第3个分量，

$\left(\begin{array}{c}\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right)=z_r{R}_r^{-1}{K}^{-1}\left(\begin{array}{c}{u}^{\prime }\\ v^{\prime }\\ 1\end{array}\right)-{R_r^{-1}T}_r\\ \left(\begin{array}{c}{x}_w^{\prime }\\ y_w^{\prime }\\ z_w^{\prime }\end{array}\right)=z_r^{\prime }{R}_r^{-1}{K}^{-1}\left(\begin{array}{c}{u}^{\prime \prime }\\ v^{\prime \prime }\\ 1\end{array}\right)-R_r^{-1}{T}_r\end{array}\right)$

z_r表示第k帧参考图像中像素点(u′,v′)的深度值，z′_r表示第k′帧参考图像中 像素点(u″,v″)的深度值；

S3.5：在第k帧目标图像中以像素点(u,v)为中心，选取大小为N×N的当前 块，根据mv_s在第k′帧目标图像中得到匹配块，匹配块的中心像素点记为

S3.6：当第k帧目标图像中的像素点(u+i,v+j)为空洞点时，将第k′帧目标 图像中的像素点及其深度值复制到该空洞点，其中i、j的取值范围分 别为-n≤i≤n、-n≤j≤n。

本发明三维图像空洞填充方法，对于根据参考图像生成的目标图像中的空 洞，采用参考图像所属图像序列中其他帧参考图像或对应目标图像进行填充， 对于利用参考图像的方法，在参考图像中得到空洞边缘像素点对应的像素点， 以该像素点为中心选取当前块，在其他帧参考图像中搜索得到匹配块，用该匹 配块中的像素点对空洞点进行填充；对于利用目标图像的方法，在得到其他帧 参考图像中的匹配块后，计算参考图像间块的运动矢量，再计算目标图像间块 的运动矢量，以空洞边缘像素点为中心选取当前块，根据目标图像运动矢量得 到其他帧目标图像的匹配块，再用该匹配块中的像素点对空洞点进行填充。

本发明采用图像序列中的其他参考图像或变换得到的目标图像进行空洞填 充，可以更充分地利用图像序列中各帧图像包含的信息，只需要一路视频序列 就可以获得较好的填充效果。

附图说明

图1是基于运动矢量的泛三维图像变换示意图；

图2是平行摄像机设置的三维图像变换；

图3是非平行摄像机设置的泛三维图像变换；

图4是Ballet序列参考图像第0帧和第9帧中手部的运动矢量示意图；

图5是图4所示参考图像的目标图像第0帧和第9帧中手部的运动矢量示 意图；

图6是参考图像中20组像素点示意图；

图7是20组像素点的运动矢量误差；

图8是实施例采用的两帧参考图像；

图9是实施例中第6帧参考图像得到的目标图像及其深度图；

图10是利用参考图像的三维图像空洞填充方法填充后的目标图像；

图11是利用参考图像的三维图像空洞填充方法填充后的目标图像；

图12是填充相同部分的PSNR值对比图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员 更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和 设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

本发明提供了两种三维图像空洞填充方法，一种是利用图像序列中的参考 图像进行空洞填充，另外一种是利用图像序列中的目标图像进行空洞填充，下 面分别对两种方法进行详细说明。

1)方法1：

利用参考图像进行填充的三维图像空洞填充方法包括以下步骤：

S1：根据参考图像序列中的第k帧参考图像及其深度图，通过三维图像变换 得到目标图像及其深度图。为了简化算法，降低算法复杂度，可以对目标图像 及其深度图进行中值滤波，如此可以填充一些较小的空洞。三维图像变换中所 用到的目标图像对应的虚拟摄像机的参数是根据需要得到的目标图像来进行设 置的。

S2：选取用于空洞填充的第k′帧参考图像；第k′帧参考图像可以是第k帧参 考图像的相邻帧，也可以不相邻。

S3：依次对第k帧目标图像的各个空洞进行填充，填充方法为：

S3.1：当第k帧目标图像为右视图，则选取空洞右边缘的非空洞像素点，当 第k帧目标图像为左视图，则选取空洞左边缘的非空洞像素点，将该像素点记为 (u,v)，运用逆三维图像变换得到第k帧参考图像中的对应像素点(u′,v′)；

S3.2：在第k帧参考图像中以像素点(u′,v′)为中心，选取大小为N×N的块作 为当前块，其中N＝2n+1，n为正整数；

S3.3：在第k′帧参考图像中以像素点(u′,v′)为中心，在大小为M×M的搜索 窗中搜索得到最佳匹配块，其中M＞N，最佳匹配块的中心像素点记为

S3.4：当第k帧目标图像中的像素点(u+i,v+j)为空洞点时，将第k′帧参考 图像中的像素点及其深度值复制到该空洞点，其中i、j的取值范围分 别为-n≤i≤n、-n≤j≤n。

在实际应用中，由于空洞大小不一并且一般比所选取的块大，因此对于一 个空洞，可能需要多次更换像素点(u,v)，并搜索最佳匹配块进行多次填充才能 填充完毕。

2)方法2

在利用目标图像进行空洞填充的三维图像空洞填充方法中，使用了基于运 动矢量的泛三维图像变换，将参考图像帧间运动矢量投影到目标图像帧间的运 动矢量。为了更好地说明方法2，首先对泛三维图像变换的理论推导进行说明。

定义一：参考域和目标域：设X是参考图像的属性构成的集合，Z是目标 图像的属性构成的集合，则称X为参考域，Z为目标域。

定义二：泛三维图像变换：设X是参考域，x∈X；Z是目标域，z∈Z；f 是X到深度空间Ω的映射，满足f(x)＝y，y∈Ω；g是Ω到Z的映射，满足g(y)＝z； 如果z与摄像机拍摄得到的情况是一样的，则我们称复合函数gof为泛三维图像 变换函数，从x到z的变换称为泛三维图像变换；逆函数(gof)^-1称为逆泛三维图 像变换函数，从z到x的变换称为逆泛三维图像变换。

运动矢量是指选中当前帧的运动物体并标注图像中像素点的位置，然后再 找出相邻帧，或隔几帧的图像的最佳匹配像素点位置，这两个像素点的的空间 偏移量就是运动矢量。设参考域变量为运动矢量mv_r和目标域变量为运动矢量 mv_s分别是两个不同视点的图像平面I_r和I_s中向量，运动矢量mv为空间中一个向 量。图1是基于运动矢量的泛三维图像变换示意图。如图1所示，在基于DIBR 的视图合成过程中，泛三维图像变换过程：1)利用参考图像I_r的投影矩阵P_r及深 度图像将参考图像I_r中运动矢量mv_r映射到空间场景中运动矢量mv；2)利用目标 图像I_s的投影矩阵P_s将场景中的运动矢量mv重投影到目标图像中的运动矢量 mv_s。图1中C_s为目标图像摄像机坐标系，C_r为参考图像摄像机坐标系，运动矢 量mv_r由参考图像平面映射到目标图像平面mv_s。

摄像机参数包括：

摄像机内部参数矩阵(intrinsic matrix)K，为可逆的满秩矩阵，表达式为：

$K=\left(\begin{array}{ccc}{\mathrm{fs}}_x& 0& o_x\\ 0& {\mathrm{fs}}_y& o_y\\ 0& 0& 1\end{array}\right)---\left(1\right)$

其中，f表示是摄像机的焦距(摄像机坐标系中的值)，s_x、s_y分别表示了 在摄像机x轴和y轴方向上每单位物理长度对应的像素的个数，单位是像素/毫 米。(o_x,o_y)是以毫米为单位的图像物理坐标系中的原点在图像像素坐标系中的 坐标。

摄像机的外部参数矩阵R、T，描述了摄像机相对于选择的世界坐标系的位 置和方向。R为3×3的正交矩阵，且它的行列式detR＝1，可逆；世界坐标系由x_w、 y_w和z_w轴组成，摄像机坐标系与世界坐标系之间的关系可以用旋转变换矩阵R 与平移变换矩阵T来描述(它们的单位长度相同)。T为三维列向量，视为摄像 机坐标系在世界坐标系的平移。

先考虑平行摄像机(摄像机光轴平行)，即当参考图像和目标图像平行时的 情况。图2是平行摄像机设置的三维图像变换。如图2所示，假设摄像机在不 同视点所拍摄的同一场景的两幅图像分别是I_r和I_s，光心C_s(0,0,0)和C_r(X₁,0,0) (X₁＞0)都在世界坐标系的x_w轴上(世界坐标系不一定与I_s所对应的摄像机坐 标系重合)。设I_s的投影矩阵为P_s＝[R_s|0]，0表示3维的为零的列向量，I_r投影 矩阵为P_r＝K[R_r|T_r]。假设两个摄像机的内部参数矩阵相同，即K_s＝K_r＝K， 由于摄像机平行设置，因此旋转变换矩阵均为R_l＝R_r＝R(R为单位矩阵)。

如图1所示，由于摄像机坐标为平行摄像机设置且光心C_s(0,0,0)和 C_r(X₁,0,0)(X₁＞0)都在世界坐标系的x_w轴上，因此参考域运动矢量的起点u_r与 目标域的运动矢量的起点u_s深度值相同，终点u′_r与u′_s的深度值也相同，即 z_s＝z_r＝z_w，z′_s＝z′_r＝z′_w，即参考图像、目标图像和场景中的点深度值相同。

由基于像素点三维图像变换可知，空间中一点U的坐标由世界坐标系转换 到目标图像摄像机坐标系，如下式：

$z_s=\left(\begin{array}{c}{u}_s\\ v_s\\ 1\\ 1/z_s\end{array}\right)=P_{s}U=\left(\begin{array}{cc}{\mathrm{KP}}_s& {\mathrm{KT}}_s\\ 0^T& 1\end{array}\right)U---\left(2\right)$

其中，上标T表示转置。

由于目标图像摄像机坐标系与世界坐标系重合，T_s＝[0 0 0]^T，可得：

$z_s\left(\begin{array}{c}{u}_s\\ v_s\\ 1\end{array}\right)={\mathrm{KR}}_s\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right)+{\mathrm{KT}}_s={\mathrm{KR}}_s\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right)---\left(3\right)$

因此，目标图像的两个像素点u_s，u′_s分别表示为：

$\left(\begin{array}{c}{u}_s=\left(\begin{array}{c}{u}_s\\ v_s\\ 1\end{array}\right)=\frac{{\mathrm{KR}}_s}{z_s}\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right)\\ u_s^{\prime }=\left(\begin{array}{c}{u}_s^{\prime }\\ v_s^{\prime }\\ 1\end{array}\right)=\frac{{\mathrm{KR}}_s}{z_s^{\prime }}\left(\begin{array}{c}{x}_w^{\prime }\\ y_w^{\prime }\\ z_w^{\prime }\end{array}\right)\end{array}\right)---\left(4\right)$

空间中的点用参考图像摄像机坐标系可表示为：

$\left(\begin{array}{c}\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right)=z_r{R}_r^{-1}{K}^{-1}\left(\begin{array}{c}{u}^{\prime }\\ v^{\prime }\\ 1\end{array}\right)-{R_r^{-1}T}_r\\ \left(\begin{array}{c}{x}_w^{\prime }\\ y_w^{\prime }\\ z_w^{\prime }\end{array}\right)=z_r^{\prime }{R}_r^{-1}{K}^{-1}\left(\begin{array}{c}{u}^{\prime \prime }\\ v^{\prime \prime }\\ 1\end{array}\right)-R_r^{-1}{T}_r\end{array}\right)---\left(5\right)$

其中，上标-1表示矩阵求逆。

因此运动矢量mv_s为：

$\left(\begin{array}{c}{\mathrm{mv}}_s=\left(\begin{array}{c}{u}_s^{\prime }\\ v_s^{\prime }\\ 1\end{array}\right)-\left(\begin{array}{c}{u}_s\\ v_s\\ 1\end{array}\right)\\ ={\mathrm{KR}}_s{R}_r^{-1}{K}^{-1}\left(\begin{array}{c}\frac{z_r^{\prime }}{z_s^{\prime }}\end{array}\left(\begin{array}{c}{u}_r^{\prime }\\ v_r^{\prime }\\ 1\end{array}\right)-\frac{z_r}{z_s}\left(\begin{array}{c}{u}_r\\ v_r\\ 1\end{array}\right)\right)-{\mathrm{KR}}_s{R}_r^{-1}{T}_r(\frac{1}{z_s^{\prime }}-\frac{1}{z_s})\\ ={\mathrm{mv}}_r-{\mathrm{KT}}_r(\frac{1}{z_r^{\prime }}-\frac{1}{z_r})\end{array}\right)---\left(6\right)$

可见如式(6)所示，目标图像的运动矢量可由参考图像的运动矢量表示。

对于适用于所有情况的非平行摄像机设置，即当参考图像和目标图像所对 应的摄像机在世界坐标系的任意位置，且摄像机参数也各不相同。图3是非平 行摄像机设置的泛三维图像变换。以平行摄像机设置系统运动矢量的泛三维图 像变换作基础，可推出在非平行摄像机设置中，有：

$\left(\begin{array}{c}{\mathrm{mv}}_s=\left(\begin{array}{c}{u}_s^{\prime }\\ v_s^{\prime }\\ 1\end{array}\right)-\left(\begin{array}{c}{u}_s\\ v_s\\ 1\end{array}\right)\\ =K_s{R}_s{R}_r^{-1}{K}_r^{-1}\left(\begin{array}{c}\frac{z_r^{\prime }}{z_s^{\prime }}\end{array}\left(\begin{array}{c}{u}_r^{\prime }\\ v_r^{\prime }\\ 1\end{array}\right)-\frac{z_r}{z_s}\left(\begin{array}{c}{u}_r\\ v_r\\ 1\end{array}\right)\right)-K_s{R}_s{R}_r^{-1}{T}_r(\frac{1}{z_s^{\prime }}-\frac{1}{z_s})+K_s{T}_s(\frac{1}{z_s^{\prime }}-\frac{1}{z_s})\\ =K_s{R}_s{R}_r^{-1}{K}_r^{-1}\left(\begin{array}{c}\frac{z_r^{\prime }}{z_s^{\prime }}\end{array}{\mathrm{mv}}_r(\frac{z_r^{\prime }}{z_s^{\prime }}-\frac{z_r}{z_s})\left(\begin{array}{c}{u}_r\\ v_r\\ 1\end{array}\right)\right)\end{array}\right)---\left(7\right)$

其中，z_s＝(R_s[x_w,y_w,z_w]^T+T_s)₃，z′_s＝(R_s[x′_w,y′_w,z′_w]^T+T_s)₃，(·)₃表示向量的 第3个分量，即列向量第三行的元素值。可见非平行摄像机设置的目标图像的 运动矢量同样可由参考图像的运动矢量表示。

下面以Ballet序列数据为例，以实验证明本发明中运动矢量计算的准确性。 在实验中，以摄像机5捕获的第0帧和第9帧作为参考图像，来合成目标图像 摄像机4捕获的第0帧和第9帧。

图4是Ballet序列参考图像第0帧和第9帧中手部的运动矢量示意图。如图 4所示，对于第0帧参考图像中手部的像素点A，通过匹配搜索可得到第9帧参 考图像中的匹配像素点C，B为第9帧参考图像中与像素点A坐标相同的像素 点。从B至C的运动矢量即为像素点A在两帧参考图像间的运动矢量mv_r。

通过三维图像变换得到第0帧和第9帧参考图像对应的目标图像。图5是 图4所示参考图像的目标图像第0帧和第9帧中手部的运动矢量示意图。如图5 所示，第0帧目标图像中，原参考图像中的像素点A对应像素点A’，第9帧目 标图像中，原参考图像中的像素点B、C分别对应像素点B’、C’。从B’至C’的 运动矢量即为像素点A’在两帧目标图像间的运动矢量mv_s。

下面对本发明中提出的运动矢量计算方法的准确性进行验证。图6是参考 图像中20组像素点示意图。如图6所示，在第0帧参考图像选择了20个像素 点，然后采用最佳匹配算法得到第9帧参考图像中的20个像素点，采用两种方 法得到目标图像中对应像素点的运动矢量：一是根据参考图像生成目标图像， 再在目标图像中根据对应的像素点计算，得到的运动矢量以mv_s1表示，一是采用 本发明所提出的运动矢量计算方法直接计算，得到的运动矢量以mv_s2表示。表1 是两种方法得到的运动矢量。为增强对比性，mv_s2保留小数部分。

像素点 第0帧 第9帧 mv_rmv_s1mv_s2u1 295 316 21 20 19.6547 v1 629 638 9 9 8.2684 u2 291 283 -8 -8 -8.1844 v2 542 549 7 8 7.2339 u3 321 242 -79 -94 -94.6157 v3 170 147 -23 -19 -20.3498 u4 298 326 28 29 29.0999 v4 211 161 -50 -50 -50.5374 u5 302 296 -6 -1 -0.5485 v5 296 222 -74 -74 -73.7264 u6 337 360 23 24 24.6441 v6 226 192 -34 -35 -34.5402 u7 343 341 -2 -3 -2.7151

v7 307 265 -42 -41 -41.7794 u8 352 310 -42 -41 -40.8392 v8 513 525 12 13 13.2515 u9 694 712 18 17 17.5891 v9 209 188 -21 -22 -21.5711 u10 459 154 -305 -297 -296.9735 v10 345 153 -192 -182 -182.2089 u11 327 168 -159 -161 -160.178 v11 522 339 -183 -178 -176.234 u12 351 343 -8 -8 -7.9971 v12 335 202 -133 -132 -132.32 u13 261 276 15 15 15.1375 v13 594 605 11 10 10.4248 u14 712 725 13 12 12.6586 v14 213 196 -17 -18 -17.4332 u15 697 701 4 3 3.5267 v15 353 251 -2 -2 -2.093 u16 339 273 -66 -115 -115.041 v16 203 163 -40 -35 -36.0255 u17 322 326 4 4 4.9333 v17 265 217 -48 -48 -47.9672 u18 321 309 -12 -13 -12.9808 v18 400 345 -55 -54 -54.377 u19 726 716 -10 -9 -9.5507 v19 164 168 4 4 4.2328 u20 689 684 -5 -5 -5.2276 v20 300 279 -21 -21 -21.0119

表1

表1中，u表示图像像素点的x轴坐标，v表示图像像素点的y轴坐标。

图7是20组像素点的运动矢量误差。根据表1中的数据可以算出，运动矢 量mv_s2相对于运动矢量mv_s1，x轴分量u的平均误差为0.35531，y轴分量v的平 均误差为0.55212。可见，采用本发明所提出的运动矢量计算方法直接计算的误 差在可接受范围之内。

本发明利用目标图像进行空洞填充的三维图像空洞填充方法中，即采用了 上述运动矢量计算方法。具体步骤包括：

S1：根据参考图像序列中的第k帧参考图像及其深度图，通过三维图像变换 得到目标图像及其深度图；

S2：选取用于空洞填充的第k′帧参考图像，根据该参考图像及其深度图， 同样通过三维图像变换得到目标图像及其深度图；

S3：依次对第k帧目标图像的各个空洞进行填充，填充方法为：

S3.1：当第k帧目标图像为右视图，则选取空洞右边缘的非空洞像素点，当 第k帧目标图像为左视图，则选取空洞左边缘的非空洞像素点，将该像素点记为 (u,v)，运用逆三维图像变换得到第k帧参考图像中的对应像素点(u′,v′)；

S3.2：在第k帧参考图像中以像素点(u′,v′)为中心，选取大小为N×N的块作 为当前块，其中N＝2n+1，n为正整数；

S3.3：在第k′帧参考图像中以像素点(u′,v′)为中心，在大小为M×M的搜索 窗中搜索得到最佳匹配块，其中M＞N，最佳匹配块的中心像素点记为(u″,v″)；

S3.4：计算当前块与匹配块之间的运动矢量mv_r，再根据运动矢量mv_r计算 第k帧目标图像与第k′帧目标图像的运动矢量mv_s，根据公式(7)可得：

${\mathrm{mv}}_s=K_s{R}_s{R}_r^{-1}{K}_r^{-1}\left(\begin{array}{c}\frac{z_r^{\prime }}{z_s^{\prime }}{\mathrm{mv}}_r+\frac{\left(z_r^{\prime }\right)}{z_s^{\prime }}-\frac{z_r}{z_s}\end{array},\left(\begin{array}{c}{u}^{\prime }\\ v^{\prime }\\ 1\end{array}\right)\right)-K_s{R}_s{R}_r^{-1}{T}_r(\frac{1}{z_s^{\prime }}-\frac{1}{z_s})+K_s{T}_s(\frac{1}{z_s^{\prime }}-\frac{1}{z_s})---\left(8\right)$

其中，K_s和K_r分别表示目标图像和参考图像所对应摄像机的内部参数矩 阵，R_s和R_r分别表示目标图像和参考图像所对应摄像机的旋转变换矩阵，T_s和T_r分别表示目标图像和参考图像所对应摄像机的平移变换矩阵，上标-1表示矩阵 求逆，其中，z_s＝(R_s[x_w,y_w,z_w]^T+T_s)₃，z′_s＝(R_s[x′_w,y′_w,z′_w]^T+T_s)₃，(·)₃表示向量 的第3个分量，根据公式(5)可得，此时：

$\left(\begin{array}{c}\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right)=z_r{R}_r^{-1}{K}^{-1}\left(\begin{array}{c}{u}^{\prime }\\ v^{\prime }\\ 1\end{array}\right)-{R_r^{-1}T}_r\\ \left(\begin{array}{c}{x}_w^{\prime }\\ y_w^{\prime }\\ z_w^{\prime }\end{array}\right)=z_r^{\prime }{R}_r^{-1}{K}^{-1}\left(\begin{array}{c}{u}^{\prime \prime }\\ v^{\prime \prime }\\ 1\end{array}\right)-R_r^{-1}{T}_r\end{array}\right)$

z_r表示第k帧参考图像中像素点(u′,v′)的深度值，z′_r表示第k′帧参考图像中 像素点(u″,v″)的深度值。

同样地，计算运动矢量所需要的目标图像对应摄像机的各项参数矩阵，也 是根据需要得到的目标图像来进行设置的。

S3.5：在第k帧目标图像中以像素点(u,v)为中心，选取大小为N×N的当前 块，根据mv_s在第k′帧目标图像中得到匹配块，匹配块的中心像素点记为

S3.6：当第k帧目标图像中的像素点(u+i,v+j)为空洞点时，将第k′帧目标 图像中的像素点及其深度值复制到该空洞点，其中i、j的取值范围分 别为-n≤i≤n、-n≤j≤n。

同样地，在实际应用中，对于一个空洞，可能需要多次更换像素点(u,v)才 能完成其填充。

实施例

下面对本发明提出的三维图像空洞填充方法进行实际验证。本次实验的参 考图像为Ballet序列的中摄像机5的第6帧和第7帧图像作为左视图，对第6 帧参考图像生成的目标图像(本实施例中三维图像变换参数采用Ballet序列中摄 像机4的参数)进行填充。图8是实施例采用的两帧参考图像。利用第6帧参 考图像及对应的深度图，通过带有参数的三维图像变换生成目标图及其深度图， 然后对目标图像和深度图进行中值滤波。图9是实施例中第6帧参考图像得到 的目标图像及其深度图。如图9所示，为便于描述，本实施例仅选择两个空洞 来进行填充。

首先采用利用参考图像的三维图像空洞填充方法进行填充，用于填充的参 考图像为第7帧参考图像。由于本实施例中需要填充的目标图像是右视图，因 此选择右边缘的非空洞像素点(u,v)，运用逆三维图像变换得到第6帧参考图像 中的对应像素点(u′,v′)。然后以像素点(u′,v′)为中心，在第6帧参考图像中取5*5 的块作为当前块，在第7帧参考图像中，在以相同坐标(u′,v′)为中心，16*16的 搜索窗中搜索最佳匹配块，最佳匹配块的中心像素点记为根据最佳匹配 块中的像素点对目标图像中以像素点(u,v)为中心，5*5的块中的空洞点进行填 充，即如果该块中某个像素点为空洞点，即复制对应的像素点及深度值进行填 充，如果不为空洞点，则不作任何操作，具体方法为：当第6帧目标图像中的 像素点(u+i,v+j)为空洞点时，将第7帧参考图像中的像素点及其深 度值复制到该空洞点，其中i、j的取值范围分别为-2≤i≤2、-2≤j≤2。图10 是利用参考图像的三维图像空洞填充方法填充后的目标图像。

采用利用目标图像的三维图像空洞填充方法进行填充，用于填充的参考图 像为第7帧目标图像，因此需要根据第7帧参考图像及其深度图进行三维图像 变换得到目标图像。由于本实施例中需要填充的第6帧目标图像是右视图，因 此选择右边缘的非空洞像素点(u,v)，运用逆三维图像变换得到第6帧参考图像 中的对应像素点(u′,v′)。然后以像素点(u′,v′)为中心，在第6帧参考图像中取5*5 的块作为当前块，在第7帧参考图像中，在以相同坐标(u′,v′)为中心，16*16的 搜索窗中搜索最佳匹配块，最佳匹配块的中心像素点记为(u″,v″)。计算当前块与 匹配块之间的运动矢量mv_r，再采用本发明提出的运动矢量计算方法根据运动矢 量mv_r计算第6帧目标图像与第7帧目标图像的运动矢量mv_s。最后在第6帧目 标图像中，选取像素点(u,v)为中心，5*5的块作为当前块，根据运动矢量mv_s即 可得到第7帧图像中的匹配块，匹配块的中心像素点记为根据该匹配块 中的像素点对第6帧目标图像中以像素点(u,v)为中心，5*5的块中的空洞点进行 填充，即如果该块中某个像素点为空洞点，即复制对应的像素点及深度值进行 填充，如果不为空洞点，则不作任何操作，具体方法为：当第6帧目标图像中 的像素点(u+i,v+j)为空洞点时，将第7帧目标图像中的像素点及其 深度值复制到该空洞点，其中i、j的取值范围分别为-2≤i≤2、-2≤j≤2。图 10是利用目标图像的三维图像空洞填充方法填充后的目标图像。

为了说明本发明的效果，采用Ballet序列中摄像机4拍摄的图像对本发明得 到的结果进行验证。分别计算本发明两种三维图像空洞填充方法对同一帧目标 图像填充后的结果图像与摄像机4拍摄的对应图像(计算范围为仅包含被填充 空洞的部分区域)的PSNR(Peak Signal to Noise Ratio，峰值信噪比)值。图12 是填充相同部分的PSNR值对比图。根据图10、图11中所示的填充结果和图 12所示的PSNR值，可见本发明提出的三维图像空洞填充方法，都可以实现对 空洞的填充，并且填充效果都较为理想，PSNR值也优于其他的空洞填充方法， 例如采用方向高斯滤波算法进行同样的实验验证，其PSNR值在30左右。相对 而言，采用运动矢量利用目标图像进行空洞填充的方法，比直接利用参考图像 的进行空洞填充的方法具有更好的填充效果，块效应更加不明显。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域 的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对 本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定 的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发 明创造均在保护之列。