基于图像稀疏性与多尺度神经网络的图像修复算法研究

摘要

DIBR(Depth Image Based Rendering)技术被广泛应用于自由视点3DTV和面向移动设备的3D游戏和漫游等应用中。其基本方法是用一张纹理图和对应的深度图合成自由视点3D场景。然而在合成过程中，由于被前景遮挡的背景区域暴露在新视点，导致了新视点的影像中产生许多不可见区域的空洞。
　　图像修复是针对局部信息丢失的图像进行复原。目前，图像修复技术被广泛的应用于照片还原、自由视点视频空洞修复和3D场景修复中，此项技术具有较大的研究意义和实用价值。
　　现在许多研究工作针对于DIBR后产生空洞的修复方式一般针对于简单场景，即通过GMM，FDC等方法将场景划分为前景和背景部分，利用背景部分的信息对图像的空洞进行修复。然而，这些方法由于只产生一张背景参考图，对场景中的多个物体不能很好的区分，因此在面对复杂场景的多空洞问题，已有的方法并不能很好的修复。
　　针对此问题，本文提出了基于结构块稀疏的自适应分层图像修复算法和基于多尺度神经网络的图像修复算法。主要工作如下:
　　1)提出一种基于结构块稀疏的图像修复算法。首先，将复杂场景通过基于场景深度自适应的分层方式得到多个简单场景图像区域，使得每个区域可以通过得到的深度阀值来获得该区域的前景部分和背景部分。然后，通过基于稀疏性的图像修复方式将深度图进行修复，结合修复好的深度信息和未修复的彩色信息，采用改进的基于块稀疏性的图像修复算法，修复得到最终的彩色图像。实验结果显示了本文方法较其他已有算法具有明显改进效果。
　　2)提出一种针对DIBR图像的多尺度神经网络的图像修复算法。首先对DIRB产生的多空洞图像进行基于空洞连通自动化空洞提取，将所有包含空洞的图像块分别提取出来，并将提取出的所有图像块的空洞区域位于图像块的正中心。然后将包含空洞的图像块并行输入至多尺度神经网络图像修复模型中，对各个图像块进行修复。最后将多个修复结果图像输出并填充在原空洞图像中，得到最终的修复结果。实验的结果显示了本文方法和其他已有算法的明显改进效果。

目录

摘要

1．1 研究背景和意义

1．2 国内外研究现状

1．2．1 不结合深度信息的图像修复方法

1．2．2 结合深度信息的图像修复方法

1．2．3 采用机器学习的图像修复方法

1．3 本文的主要工作

第2章 远程绘制算法及相关图像修复算法介绍

2．1 3D图像warping算法

2．2 基于纹理合成的图像修复算法

2．3 基于机器学习的图像修复算法

3．1 引言

3．2 基于块稀疏性的图像修复算法

3．2．1 算法概述

3．2．2 空洞图像预处理

3．2．3 复杂场景图像自适应分层方法

3．2．4 深度图修复方法

3．2．5 彩色图修复方法

3．3 实验结果与分析

4．1 引言

4．2 基于多尺度神经网络的图像修复算法

4．2．1 算法概述

4．2．2 基于空洞连通的多空洞提取方法

4．2．3 多尺度神经网络图像修复方法

4．3 实验结果与分析

5．1 总结

5．2 展望

参考文献

研究成果列表

致谢

声明