模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法

摘要

模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法属自由立体显示技术领域，本发明包括：1.真实视图模糊边缘重建，为一组下采样视频帧重建稀疏的模糊边缘；2.通过真实视图重建结果的视点间加权求和，为已知相机位姿的虚拟视图合成模糊边缘；3.采用基于局部平滑与边缘尖锐约束的空域插值，为虚拟视图生成完整模糊表面，利用全部稀疏采样帧的模糊边缘，基于全局可见性约束，去除造成错误遮挡的模糊表面；4.利用少量稀疏采样帧的完整模糊表面，实现虚拟视图模糊表面空洞的角度域填补；本发明通过边缘驱动与模糊理论相辅相成的策略，能实现不使用给定的场景几何信息端到端的高性能、强鲁棒视图合成，为自由立体显示快速生成高品质内容。

说明书

技术领域

本发明属自由立体显示技术领域，涉及一种面向单目视频的虚拟视图绘制方法，具体涉及一种模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法。

背景技术

自由立体显示技术是当今国际显示领域的前沿科技，必将逐步取代现有的平面显示和助视式三维显示媒介。国内外已经对自由立体显示展开了积极探索，尤其在改善分辨率、视角、景深等方面取得了显著进展。然而优质内容相对匮乏的瓶颈尚未得到实质性解决，严重制约了其在诸多领域的普及化和3D手机、3D电视、3D大屏等硬件设备的实用化。一个主要原因是显示内容的主流采集手段都存在一定的缺点，例如微透镜阵列和光场相机再现立体视差小、相机阵列硬件成本高，且标定繁琐、沿轨采集图像序列难以环绕拍摄大场景、深度传感器检测范围有限且精度低等。随着高速成像技术的发展，无轨拍摄单目视频成为快速获取场景全表面多尺度信息的有效方式。为视频场景生成虚拟视点图像，通常需要先通过多视图三维重建(Multi-ViewStereo，MVS)估计场景深度，再采用基于图像的渲染(Image-BasedRendering，IBR)技术合成每个虚拟视图。

MVS过程容易在纹理缺失、遮挡、非漫反射、半透明等区域产生歧义匹配，从而使IBR结果存在边缘断裂、混叠伪影和虚拟视图角度域内容不一致等问题，最终损失自由立体显示画面的真实感。边缘驱动与模糊理论分别是MVS和IBR两种算法解决这种重建不确定性的重要手段。边缘驱动方法出于边缘(如物体轮廓、颜色纹理)重建相对较准的考虑，具有很高的运算效率，但是视频数据固有的画面抖动、果冻效应与帧间冗余增加了边缘深度估计的难度；模糊理论通过模拟人脑的容错处理方式来求取“模棱两可”式问题的最优解，但是其模糊性的表达形式在用于高帧率或高分辨率视频时，会造成极大的计算和存储资源浪费。

发明内容

本发明的目的在于提供一种模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法。本发明有机结合了边缘驱动机制计算效率高和模糊理论容错性好的优点，通过边缘驱动与模糊理论相辅相成的策略，能够实现端到端(不使用给定的场景几何信息)的高性能、强鲁棒视图合成，从而为自由立体显示快速生成高品质内容，以解决上述背景技术中提出的问题。

本发明的模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法，包括下列步骤：

1.1真实视图模糊边缘重建，为一组下采样视频帧重建稀疏的模糊边缘，即边缘像素对应的模糊体素，包括下列步骤：

1.1.1模糊体素对于像素(x,y)的数学表达式为：

V(x,y)＝{d

其中：[d

1.1.2通过双层帧采样方法，为真实视图模糊边缘建立自适应的深度范围选取与隶属度分配机制；

1.1.3双层帧采样过程：先利用运动恢复结构算法计算所有视频帧的相机位姿，同时重建视频图像中显著特征的稀疏三维点云；然后根据这些信息对视频帧进行由密集到稀疏采样：先对视频帧密集采样，使相邻采样帧的相机视角相差1°；再对密集采样帧以4:1的固定比例进一步下采样，得到稀疏采样帧；

1.1.4深度范围选取过程：对于每幅稀疏采样帧，先提取边缘像素，然后为每个模糊边缘进行深度范围的由粗到细选取，具体包括下列步骤：

1.1.4.1初始化：利用由运动恢复结构算法输出且在当前采样帧中可见的最近与最远三维点的深度值，初始化该模糊边缘的深度范围；

1.1.4.2粗选取：利用当前帧的100幅相邻密集采样帧，计算所有候选深度的匹配代价，用匹配代价小于τ

1.1.4.3细选取：利用当前帧的100幅相邻稀疏采样帧，计算新的匹配代价，将匹配代价小于τ

步骤1.1.4.2与1.1.4.3采用像素级匹配代价计算方法，阈值τ

1.1.5隶属度分配过程定义模糊边缘候选深度的隶属度函数为：

μ

S

其中：D

1.2虚拟视图模糊边缘合成：通过真实视图重建结果的视点间加权求和，为已知相机位姿的虚拟视图合成模糊边缘；

包括下列步骤：

1.2.1参考视图选取：从稀疏采样帧中为虚拟视图选取M(≥2)幅相机位置最近且视角相差最小的真实视图作为插值的参考图像；M值根据实际情况设置，以便达到运算速度与合成效果的良好折中；假设虚拟视图I

b为相邻稀疏采样帧的平均基线，Ray

1.2.2模糊边缘合成：先为候选边缘合成模糊体素，再从中提取模糊边缘，具体包括下列步骤：

1.2.2.1候选边缘模糊体素合成过程：将每幅参考视图的模糊边缘投影到虚拟视图中，把全部投影点标记为候选边缘；对于每个候选边缘(x,y)，将投影到该像素的全部参考视图模糊边缘投影到它的相应光线上，取所有深度范围投影的并集作为该像素模糊体素的深度范围；然后利用下式计算其模糊体素：

其中：V

两个具有不同深度范围的模糊体素的求和过程为：先将它们的深度范围均扩展为两者的并集，新增候选深度的隶属度设为0，再将相同深度的隶属度相加，最后将V

1.2.2.2模糊边缘提取过程：将每个模糊体素的中心—隶属度最大的所有候选深度的平均值，作为对应候选边缘的深度估计，利用Sobel算子对所得的半稠密的粗略深度图进行边缘检测；

1.3虚拟视图模糊表面生成：先采用基于局部平滑与边缘尖锐约束的空域插值，为虚拟视图生成完整模糊表面；然后利用全部稀疏采样帧的模糊边缘，同时基于全局可见性约束，去除造成错误遮挡的模糊表面；最后利用少量稀疏采样帧的完整模糊表面，实现虚拟视图模糊表面空洞的角度域填补，具体包括下列步骤：

1.3.1空域插值采用Jacobi迭代法，对虚拟视图的模糊边缘进行视点内插值，对模糊表面同时完成边缘保留—边缘尖锐约束、区域填充以及平滑化—局部平滑约束；不失一般性，令V

{(x

1.3.2去除造成错误遮挡的模糊表面，包括下列步骤：

1.3.2.1种子点选取：先从虚拟视图的模糊表面中获取其粗略表面估计，即提取全部模糊体素的中心；再将该粗略表面依次投影到每幅稀疏采样帧中；对于某稀疏采样帧的边缘(x,y)，假设它的模糊体素深度范围为[d

将P

1.3.2.2区域生长：将稀疏的种子点逐步聚合成若干个密集、独立的模糊表面：先针对每个种子点P

1.3.3虚拟视图模糊表面空洞的角度域填补，包括下列步骤：

1.3.3.1统计每幅稀疏采样帧检测出的种子点数量；

1.3.3.2按照数量由多到少的顺序逐个进行模糊表面空域插值，并将插值结果投影至虚拟视图模糊表面的空洞处；如果空洞被完全填充，则结束操作，否则继续。

与现有技术相比，本发明的有益效果在于：本发明提出的模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法，为了避免整体建模精度对边缘深度信息的误差格外敏感，同时避免在视频场景的深度估计与纹理映射过程中需要计算和存取海量的模糊体素数据，有机结合了边缘驱动机制计算效率高和模糊理论容错性好的优点，通过边缘驱动与模糊理论相辅相成的策略，能够实现端到端(不使用给定的场景几何信息)的高性能、强鲁棒视图合成，从而为自由立体显示快速生成高品质内容。

附图说明

图1为模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法的整体框架

图2为双层帧采样与模糊边缘重建(自适应深度范围选取与隶属度分配)的流程图

图3为全局可见性约束的示意图

图4为虚拟视图模糊边缘合成的示意图

图5为虚拟视图模糊表面生成的流程图与示意图

具体实施方式

下面结合附图进一步说明本发明的实施流程，模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法，其总体框架如图1所示，包括下列步骤：

1真实视图模糊边缘重建，为一组下采样视频帧重建稀疏的模糊边缘，即边缘像素对应的模糊体素，包括下列步骤：

1.1模糊体素对于像素(x,y)的数学表达式为：

V(x,y)＝{d

组成要素包括：深度范围[d

1.2通过双层帧采样方法，为真实视图模糊边缘建立自适应的深度范围选取与隶属度分配机制，具体流程如图2所示；

1.3双层帧采样过程：先利用运动恢复结构算法计算所有视频帧的相机位姿，同时重建视频图像中显著特征的稀疏三维点云，然后根据这些信息对视频帧进行由密集到稀疏采样；窄基线图像序列中不易出现三维点被遮挡、移出视野、亮度变化等问题，利于深度估计，而原始视频的时域冗余较严重，致使数据量过大，所以先对视频帧密集采样，使相邻采样帧的相机视角相差1°；宽基线图像之间一定的内容差异有益于提高MVS的可靠性，所以再对密集采样帧以4:1的固定比例进一步下采样，得到稀疏采样帧；为减少计算量，只对稀疏采样帧重建模糊边缘；

1.4深度范围选取过程：对于每幅稀疏采样帧，先提取边缘像素，然后为每个模糊边缘进行深度范围的由粗到细选取，具体包括下列步骤：

1.4.1初始化：利用由运动恢复结构算法输出且在当前采样帧中可见的最近与最远三维点的深度值，初始化该模糊边缘的深度范围；

1.4.2粗选取：利用当前帧的100幅相邻密集采样帧，计算所有候选深度的匹配代价，用匹配代价小于τ

1.4.3细选取：利用当前帧的100幅相邻稀疏采样帧，计算新的匹配代价，将匹配代价小于τ

考虑到块匹配一般会降低场景模型几何边缘尖锐度的问题，步骤1.4.2与1.4.3采用像素级匹配代价计算方法，阈值τ

1.5隶属度分配过程定义模糊边缘候选深度的隶属度函数为：

μ

S

其中：D

①可见度一致：P在D

②自由空间冲突：D

③遮挡：P处于D

上式使用发生自由空间冲突与遮挡次数的差值，是因为这两种不满足全局可见性约束的情况不可能同时出现。

2.虚拟视图模糊边缘合成：通过真实视图重建结果的视点间加权求和，为已知相机位姿的虚拟视图合成模糊边缘，其具体流程如图4a所示，包括下列步骤：

2.1参考视图选取：从稀疏采样帧中为虚拟视图选取M(≥2)幅相机位置最近且视角相差最小的真实视图作为插值的参考图像；M值越小，计算越简单；M值越大，虚拟视图与真实视图之间的视觉连续性越优，M值根据实际情况设置，以便达到运算速度与合成效果的良好折中；假设虚拟视图I

b为相邻稀疏采样帧的平均基线，Ray

2.2模糊边缘合成：先为候选边缘合成模糊体素，再从中提取模糊边缘，具体包括下列步骤：

2.2.1候选边缘模糊体素合成过程：如图4b所示，将每幅参考视图的模糊边缘投影到虚拟视图中，把全部投影点标记为候选边缘；对于每个候选边缘(x,y)，将投影到该像素的全部参考视图模糊边缘投影到它的相应光线上，取所有深度范围投影的并集作为该像素模糊体素的深度范围；然后利用下式计算其模糊体素：

其中：V

两个具有不同深度范围的模糊体素的求和过程为：先将它们的深度范围均扩展为两者的并集，新增候选深度的隶属度设为0，再将相同深度的隶属度相加，最后，为了防止模糊体素合成导致深度范围累积，将V

2.2.2模糊边缘提取过程：候选边缘模糊体素中的非边缘信息会影响模糊表面的生成质量，所以必须将这些模糊体素集去除；此过程将每个模糊体素的中心—隶属度最大的所有候选深度的平均值，作为对应候选边缘的深度估计，利用Sobel算子对所得的半稠密的粗略深度图进行边缘检测；

3.虚拟视图模糊表面生成：如图5a所示，先采用基于局部平滑与边缘尖锐约束的空域插值，为虚拟视图生成完整模糊表面；然后利用全部稀疏采样帧的模糊边缘，同时基于全局可见性约束，去除造成错误遮挡的模糊表面；最后利用少量稀疏采样帧的完整模糊表面，实现虚拟视图模糊表面空洞的角度域填补，具体包括下列步骤：

3.1空域插值采用Jacobi迭代法，对虚拟视图的模糊边缘进行视点内插值，对模糊表面同时完成边缘保留—边缘尖锐约束、区域填充以及平滑化—局部平滑约束，如图5b所示；不失一般性，令V

{(x

3.2去除造成错误遮挡的模糊表面，当某些三维边缘(如图5b中的P

3.2.1种子点选取：如图5c所示，先从虚拟视图的模糊表面中获取其粗略表面估计，即提取全部模糊体素的中心；再将该粗略表面依次投影到每幅稀疏采样帧中；对于某稀疏采样帧的边缘(x,y)，假设它的模糊体素深度范围为[d

说明P

3.2.2区域生长：将稀疏的种子点逐步聚合成若干个密集、独立的模糊表面：先针对每个种子点P

3.3虚拟视图模糊表面空洞的角度域填补，通过单视图修复算法填充虚拟视图模糊表面的空洞，容易造成所生成的多幅虚拟视图在角度域的内容差异，检测出种子点的稀疏采样帧在相应区域的重建结果应该是可靠的，故可将此处的模糊表面用于空洞的跨视点填充；所以基于视图间几何一致性约束，同时为了避免带来巨大的计算与存储负荷，此过程包括下列步骤：

3.3.1统计每幅稀疏采样帧检测出的种子点数量；

3.3.2按照数量由多到少的顺序逐个进行模糊表面空域插值，并将插值结果投影至虚拟视图模糊表面的空洞处；如果空洞被完全填充，则结束操作，否则继续。