基于改进U形卷积神经网络的图像合成方法研究

摘要

图像合成是使用某种形式的图像描述信息生成真实感图像的过程，基于深度学习的图像合成方法使用现有数据集训练深度网络学习合成对应图像的方法。而U-Net是深度学习中一种常用的卷积神经网络结构，主要用于医学图像分割。本文将U-Net应用于图像合成领域，并针对U-Net在图像合成应用上存在的缺陷进行了相应改进。本文的研究内容如下： 首先，为了增加网络的参数容量，本文将DenseNet中的密集连接结构与ResNet中的残差结构引入到U-Net中，并结合两者提出了密集残差模块。通过引入密集连接和残差结构，U-Net的网络参数容量得大幅提升，网络中特征图的利用率得到了提高，网络可以学习到更多特征，生成更具细节的图像，同时也保持了网络的训练与预测效率。 其次，为了提高卷积神经网络合成图像的质量，本文使用缩放卷积替换了U-Net中使用的转置卷积。U-Net中使用转置卷积对特征图进行升维，但转置卷积会对合成图像的质量造成一定影响，导致合成图像中出现不同程度的棋盘格状伪影。本文中使用的缩放卷积在一定程度上消除了合成图像中存在的棋盘格状伪影，提升了合成图像的质量。 接着本文结合感知损失与Smooth L1损失函数通过有监督学习的方式对网络进行训练，使用感知损失可以使得网络学习到物体的抽象特征，而Smooth L1损失又可以对合成物体的细节，如颜色等，进行一定的限制。 最后本文共进行了从语义图像到真实感图像和素描图像到真实感图像的两类实验，在Cityscapes，ZuBuD和CelebA三个数据集上的实验表明，在复杂的图像合成任务上，本文所提出的优化网络（IUNs）与CRNs相比在效率上有着明显优势，在合成图像的质量上也略优于CRNs，IUNs所合成的图像比U-Net所合成的图像具有更丰富的细节，且合成图像中的物体更加完整。而在简单的合成任务上，IUNs的表现与U-Net相近，但IUNs所合成的图像质量更高，合成图像中存在的瑕疵更少。综上所述，本文所提出的改进网络在合成效率与合成图像质量上达到了较好的平衡。

目录

声明

第1章 引 言

1.1 研究背景

1.2 国内外研究现状

1.2.1 国外研究现状

1.2.2 国内研究现状

1.3 研究内容

1.4 论文结构安排

第2章 相关技术介绍

2.1 人工神经网络与卷积神经网络

2.2 卷积神经网络基本特征

2.2.1 稀疏连接

2.2.2 权值共享

2.3卷积神经网络基本结构

2.3.1 卷积层

2.3.2 反卷积层

2.3.3 池化层

2.3.4 完全连接层

2.4 卷积神经网络训练方式

2.4.1 损失函数

2.4.2 优化器

2.5 批归一化

2.6 图像合成中常用的卷积神经网络模型

2.6.1 GANs

2.6.2 CRNs

2.6.3 U-Net

2.6.4 ResNet

2.6.5 DenseNet

2.7本章小结

第3章 U-Net改进与训练策略

3.1 图像合成网络特性需求

3.2 U-Net存在的缺陷

3.3 改进1：图像分辨率与棋盘格状伪影

3.3.1提升生成图像分辨率

3.3.2 减少网络中的棋盘格状伪影

3.4 改进2：引入残差与密集连接结构

3.5 网络的训练

3.6 本章小结

第4章 基于语义图与素描图像的真实感图像合成

4.1 图像合成方法流程

4.2 基于语义图的真实感图像合成

4.2.1 数据集的选择与处理

4.2.2 网络设置与硬件环境

4.2.3 实验结果

4.3 基于素描图的真实感图像合成

4.3.1 网络设置与硬件环境

4.3.2 基于素描图像合成建筑图像

4.3.3 基于素描图像合成彩色人脸图像

4.4 本章小结

第5章 总结与展望

5.1 全文总结

5.2 展望

参考文献

致谢