一种基于多尺度特征对齐及精化网络的双目图像修复网络模型的训练方法

摘要

本发明属于图像修复处理技术领域，公开了一种基于多尺度特征对齐及精化网络的双目图像修复网络模型的训练方法，步骤为：获取样本图像集，样本图像集中包括多对双目图像，每对双目图像包括一个左视角图像和一个右视角图像，左视角图像或右视角图像为损坏图像，保留损坏图像的原始未损坏图像作为该损坏图像的真值，将样本图像集按比例随机划分为训练集和测试集；采用训练集对预先构建的双目图像修复网络模型进行训练，更新双目图像修复网络模型，得到训练后的双目图像修复网络模型；采用测试集对训练后双目图像修复网络模型进行测试，从中选出最优双目图像修复网络模型。本发明的模型能够高效修复出高精度的图像，使修复图像更加真实、自然。

说明书

技术领域

本发明属于图像修复处理领域，具体涉及一种基于多尺度特征对齐及精化网络的双目图像修复网络模型的训练方法。

背景技术

机器人在复杂环境中自主运行时，首先需要对环境进行准确的感知，然后才能对信息进行处理。而单目相机由于视野有限且提供的场景信息较少，如果出现物体遮挡、图像失真、镜头污染甚至镜头损坏的情况，往往造成视觉感知过程发生异常甚至导致事故。随着自主机器人的快速发展，以及计算机视觉技术取得的巨大进步，双目甚至是多目视觉系统的使用越来越广泛，人们对于机器人在复杂环境中具有高可靠性、移动性、便携性、安全性和自主感知能力的要求愈发强烈。双目图像修复技术可以利用图像中相似结构信息来修复破损区域的像素缺失问题，保证机器人顺利获取到完整的场景信息。

传统的方法使用来自同一图像或收集的图像数据库的相似纹理来修复受损区域。这些方法通常假设在损坏图像或其他同源图像数据库中可以匹配相似的图像块或纹理，但在修复区域的边界周围总是明显存在许多模糊的边缘和错误的语义信息。因此，有必要提出一种高效、修复精度高的图像修复方法，使修复得到的图像更加真实、自然。

发明内容

针对现有技术中存在的问题和不足，本发明的目的在于提供一种基于多尺度特征对齐及精化网络的双目图像修复网络模型的训练方法。

基于上述目的，本发明采用如下技术方案：

本发明第一方面提供了一种基于多尺度特征对齐及精化网络的双目图像修复网络模型的训练方法，包括如下步骤：

(1)获取样本图像集，将样本图像集按比例随机划分为训练集和测试集；所述样本图像集中包括多对双目图像，每对双目图像包括一个左视角图像和一个右视角图像，一对双目图像中的左视角图像和右视角图像对应同一个场景，采集时间相同；而且，一对双目图像中的左视角图像或右视角图像为完好图像，另一视角图像为损坏图像，每张损坏图像都保留其原始未损坏图像作为该损坏图像的真值；

(2)采用训练集对预先构建的双目图像修复网络模型进行训练，更新双目图像修复网络模型，得到训练后的双目图像修复网络模型；其中，所述双目图像修复网络模型包括特征提取模块、多尺度特征对齐及动态融合模块、特征精化模块；所述特征提取模块用于对输入的一对双目图像进行特征提取，特征提取模块的输入为一对双目图像，输出为一对双目图像特征图，双目图像特征图包括左视角特征图和右视角特征图；所述多尺度特征对齐及动态融合模块用于对特征提取模块输出的一对双目图像特征图进行特征对齐及特征融合处理，得到最终融合特征图并输出；所述精化模块用于对多尺度特征对齐及动态融合模块输出的最终融合特征图进行精化处理，得到最终的修复图像并输出；

(3)采用测试集对步骤(2)得到的训练后双目图像修复网络模型进行测试，从训练后的双目图像修复网络模型中选出最优双目图像修复网络模型。

更加优选地，步骤(1)中在制作损坏图像之前，先将样本图像集中的双目图像裁剪至正方形，进行损坏处理后再输入双目图像修复网络模型中的特征提取模块。

更加优选地，所述特征提取模块将输出的一对双目图像特征图进行缩放处理后，分别得到缩放后的3张完好图像特征图和1张损坏图像特征图，再将缩放后的特征图输入多尺度特征对齐及动态融合模块；所述3张完好图像特征图中第一完好图像特征图的分辨率大小为原始大小的1/4，第二完好图像特征图的分辨率大小为原始大小的1/2，第三完好图像特征图的分辨率大小与原始大小相同；所述损坏图像特征图的分辨率大小为原始大小的1/4；其中，分辨率大小均为原始大小的1/4的完好图像特征图和损坏图像特征图组成一对分辨率大小相同的双目图像特征图。

优选地，所述多尺度特征对齐及动态融合模块用于对特征提取模块输出的一对双目图像特征图进行特征对齐及特征融合处理，得到融合特征图并输出；所述多尺度特征对齐及动态融合模块的处理包含三个阶段，第一阶段包含1个特征对齐模块、1个动态融合模块，特征对齐模块用于将特征提取模块输出的一对分辨率大小相同的双目图像特征图进行特征对齐处理，得到第一对对齐双目图像特征图，动态融合模块用于将第一对对齐双目图像特征图进行特征融合处理，得到第一融合特征图；第二阶段包含1个上采样模块、1个嵌入层、1个特征对齐模块、1个动态融合模块，上采样模块对第一融合特征图进行上采样处理，使经上采样处理的第一融合特征图的分辨率与第二完好图像特征图的分辨率相同，嵌入层用于改善第二完好图像特征图的感受野，特征对齐模块用于将经嵌入层处理过的第二完好图像特征图与经上采样模块处理过的第一融合特征图进行对齐处理，得到第二对对齐双目图像特征图，动态融合模块用于将第二对对齐双目图像特征图进行特征融合处理，得到第二融合特征图；第三阶段包含1个上采样模块、1个嵌入层、1个特征对齐模块、1个动态融合模块，上采样模块对第二融合特征图进行上采样处理，使经上采样处理的第二融合特征图的分辨率与第三完好图像特征图的分辨率相同，嵌入层用于改善第三完好图像特征图的感受野，特征对齐模块用于将经嵌入层处理过的第三完好图像特征图与经上采样模块处理过的第二融合特征图进行对齐处理，得到第三对对齐双目图像特征图，动态融合模块用于将第三对对齐双目图像特征图进行特征融合处理，得到最终融合特征图；所述特征提取模块还将输出的一对双目图像特征图进行缩放处理，得到缩放后的3张分辨率不同的完好图像特征图和1张损坏图像特征图，所述缩放后损坏图像特征图与缩放后最小分辨率的完好图像特征图的分辨率大小相同；其中，多尺度特征对齐及动态融合模块进行特征对齐及特征融合的三个阶段中，特征对齐模块的结构都相同且参数不共享，动态融合模块的结构都相同。

更加优选地，多尺度特征对齐及动态融合模块中的上采样模块均通过双线性插值进行上采样处理；所述多尺度特征对齐及动态融合模块进行特征对齐及特征融合处理的不同阶段的上采样模块的缩放因子不同，其中，第二阶段中上采样模块对应的分辨率缩放因子为0.5，第三阶段中上采样模块对应的分辨率缩放因子为1。

优选地，所述特征对齐模块由2个可变形卷积模块组成，其中，一个可变形卷积模块对双目图像中完好图像特征图进行变形处理，另一个可变形卷积模块对双目图像中损坏图像特征图进行变形处理，使2个可变形卷积模块分别输出的变形的右视角特征图与变形的左视角特征图对齐。2个可变形卷积模块均由1个卷积层、1个可变形卷积层、1个LeakyReLU激活函数层和1个跳连接机构组成。所述特征对齐模块进行特征对齐的具体步骤为：输入特征对齐模块的一对双目图像特征图先沿通道维度连接，然后将连接过的左右视角特征图通过处理双目图像中完好图像特征图的可变形卷积模块中的卷积核加权，并结合LeakyReLU激活函数产生完好图像特征图的偏移量；将完好图像特征图的偏移量通过处理双目图像中完好图像特征图的可变形卷积模块中的可变形卷积层对完好图像特征图进行变形，得到变形的完好图像特征图；将变形的完好图像特征图通过处理双目图像中损坏图像特征图的可变形卷积模块中的卷积核加权，并结合LeakyReLU激活函数产生双目图像中损坏图像特征图的偏移量；将损坏图像特征图的偏移量通过处理双目图像中损坏图像特征图的可变形卷积模块中的可变形卷积层对损坏图像特征图进行变形，得到变形的损坏图像特征图。

更加优选地，利用可变形卷积层捕捉特征图的偏移量时，按如下公式进行卷积操作：

式中，O(k)是输出特征图的像素值，K为卷积的采样点数量，w是卷积的权重参数，I(k+k

优选地，所述动态融合模块包括第一支路和第二支路，第一支路包含1个卷积层，第二支路包含1个sigmoid激活函数层。第一支路用于将输入的一对经特征对齐模块输出的对齐的双目图像特征图沿通道维度连接，连接后经过1个卷积层进行处理，得到初步融合的左右视角特征图；第二支路用于将输入的同一对经特征对齐模块输出的对齐的双目图像特征图以元素的方式相乘，相乘后经过1个sigmoid激活函数层将特征图映射到(0,1)进行处理，得到左右视角相似度图；最后将第一支路得到的初步融合的左右视角特征图与第二支路得到的左右视角相似度图以元素相乘的方式进行处理，得到融合特征图。

优选地，所述特征精化模块用于对多尺度特征对齐及动态融合模块输出的最终融合特征图进行精化处理，得到最终的修复图像并输出。所述特征精化模块包括2个交叉连接的残差结构；特征精化模块对最终融合特征图的处理过程为：输入特征精化模块的最终融合特征图通过1个标准卷积层和1个膨胀卷积层进行卷积处理，得到第一主干卷积特征图；最终融合特征图通过第一分支卷积层进行卷积处理，得到第一分支卷积特征图；将第一主干卷积特征图与第一分支卷积特征图进行元素相加后得到第一卷积特征图；将第一主干卷积特征图经第二分支卷积层进行卷积处理，得到第二分支卷积特征图；第一卷积特征图通过1个膨胀卷积层进行卷积处理，得到第二主干卷积特征图；将第二分支卷积特征图与第二主干卷积特征图进行元素相加后输入1个卷积层进行卷积处理，得到最终的修复图像。

更加优选地，每个卷积层均包括LeakyReLU激活函数；第一膨胀卷积的膨胀率与第二膨胀卷积的膨胀率为倍数关系，其中，第一膨胀卷积的膨胀率为2，第二膨胀卷积的膨胀率为4。

优选地，所述损坏图像的制作方法为：在图像采集设备获取的原始未损坏图像上添加随机位置和形状的掩膜，得到损坏图像。

优选地，步骤(2)中，采用训练集对预先构建的双目图像修复网络模型进行训练的具体操作步骤为：

(2a)将训练集中的双目图像输入预先构建的双目图像修复网络模型中进行修复，得到损坏图像的修复图像，将修复图像和原始未损坏图像(即真值)输入损失函数中进行损失计算，得到双目图像自修复网络模型的损失值l

(2b)利用反向传播算法调节双目图像修复网络模型的网络参数，使损失值l

优选地，步骤(3)中，采用测试集对步骤(2)得到的训练后双目图像修复网络模型进行测试的具体操作为：

(3a)将测试集中的双目图像依次输入一个训练后的双目图像修复网络模型中，得到所有双目图像的修复图像，计算修复图像与原始未损坏图像(即真值)的PSNR，然后求取测试集中所有双目图像的PSNR平均值，得到该双目图像修复网络模型的PSNR；

(3b)按照步骤(3a)所述的操作求取所有训练后的双目图像修复网络模型的PSNR，选取PSNR最大的双目图像修复网络模型作为最优双目图像修复网络模型。

优选地，步骤(1)中每对双目图像中的左视角图像和右视角图像的重合率大于等于50％。更加优选地，每对双目图像中左视角图像和右视角图像的视平面相同。

更加优选地，步骤(1)中样本图像集中的双目图像均为彩色图像。

更加优选地，步骤(1)中用于采集样本图像集的场景为城市场景。

本发明第二方面一种双目图像修复方法，所述方法为将待修复的一对双目图像输入双目图像修复网络模型进行修复，得到修复图像；其中，待修复的双目图像包括一个左视角图像和一个右视角图像，左视角图像和右视角图像对应同一个场景，采集时间相同；而且，双目图像中的左视角图像或右视角图像为损坏图像；所述双目图像修复网络模型为采用上述第一方面所述双目图像修复网络模型的训练方法训练得到的最优双目图像修复网络模型。

本发明第三方面提供了一种电子设备，包括存储器和处理器，所述存储器存储由计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的双目图像修复网络模型的训练方法，或者如上述第二方面所述的双目图像修复方法。

本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的双目图像修复网络模型的训练方法，或者上述第二方面所述的双目图像修复方法。

与现有技术相比，本发明的有益效果如下：

(1)本发明提供的双目图像修复网络模型是以采集时间相同且具有一定重合视场的双目图像中的损坏图像和另一视角的完好图像作为修复网络的输入，通过修复网络中的对齐模块捕捉左右图像相似结构的偏移关系并将其进行空间对齐，然后利用多尺度动态融合模块实现特征图的融合，再经精细化模块进行精化处理，最终实现损坏图像破损区域的修复。

(2)本发明的多尺度特征对齐及融合模块采用特征对齐模块和动态融合模块动态融合不同尺度的特征图，实现多路特征的汇聚保证修复图像的修复效果；同时利用可变形卷积灵活捕捉左右视角特征图的偏移量实现对齐效果，然后在特征图对齐的基础上结合自适应学习的空间相似度图，强化修复效果。其中，特征对齐模块能有效对左视角特征图和右视角特征图的相似结构特征进行隐式建模，并促使其中一个视角特征图对应特征在空间上发生一定偏移和旋转，实现了其中一个视角特征图向另一个视角特征图的空间对齐，这对于相似结构的修复是极为有益的；而且，由于本发明的多尺度特征对齐使用了可形变卷积，能灵活捕捉非固定区域的特征，实现左右特征图间的良好对齐效果。动态融合模块能够自适应学习空间相似度图，使双目图像修复网络能够动态聚合不同分支的特征，促进双目图像修复网络产生更高品质的修复结果。本发明的特征精化模块中的两个交叉连接的残差连接有助于网络收敛，进一步精化了修复图像的细节信息，得到的修复图像清晰、精度高。

(3)本发明构建的双目图像修复网络模型具有高效、清晰、修复精度高等优点，修复得到的修复图像真实、自然，能显著消除在修复区域的边界明显存在的模糊边缘和错误的语义信息，可用于机器人等智能设备，提高机器人自主修复采集图像的污损区域的能力，保证机器人相机在极端环境下的正常工作，极大地保证了机器人的安全运行。

附图说明

图1为本发明实施例中双目图像修复网络模型的网络架构示意图；

图2为本发明实施例中特征对齐模块的架构示意图；

图3为本发明实施例中可变形卷积的示意图；

图4为本发明实施例中动态融合模块的架构示意图；

图5为本发明实施例中特征精化模块的架构示意图；

图6为本发明实施例中双目图像修复方法的修复结果图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下通过实施例结合附图，对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

实施例1

本发明实施例提供一种双目图像修复网络模型的训练方法，包括如下步骤：

(1)获取样本图像集，将样本图像集按6∶3∶1比例随机划分为训练集、验证集和测试集。

所述样本图像集中包括多对双目图像，每对双目图像包括一个左视角图像和一个右视角图像，左视角图像和右视角图像的重合率大于等于50％且视平面相同；一对双目图像中的左视角图像和右视角图像对应同一个场景，采集时间相同；而且，一对双目图像中的右视角图像为完好图像，左视角图像为损坏图像，每张损坏图像都保留其原始未损坏图像作为该损坏图像的真值。所述损坏图像的制作方法为：将图像采集设备获取的原始未损坏图像用大小、形状和空间位置均随机的二值掩码处理，得到损坏图像。本实施例中，所述双目图像为彩色图像。

在进行损坏处理前，先将原图像素为640×480的样本图像集中的双目图像均分别按短边裁剪至正方形(480×480)，接着缩放为256×256后再进行损坏处理，然后输入双目图像修复网络模型。

(2)采用训练集对预先构建的双目图像修复网络模型进行训练，更新双目图像修复网络模型，得到训练后的双目图像修复网络模型；

采用训练集对预先构建的双目图像修复网络模型进行训练的具体操作步骤为：

(2a)将训练集中的双目图像输入预先构建的双目图像修复网络模型中进行修复，得到损坏图像的修复图像，将修复图像和原始未损坏图像(即真值)输入损失函数中进行损失计算，得到双目图像自修复网络模型的损失值l

(2b)利用反向传播算法调节双目图像修复网络模型的网络参数，使损失值l

(3)采用验证集对训练后的双目图像修复网络模型进行超参数调整，然后根据几组模型验证集上的表现决定哪组超参数拥有最好的性能。

(4)采用测试集对超参数优化后的训练后双目图像修复网络模型进行测试，从中选出最优双目图像修复网络模型并评价最终模型的泛化能力。

采用测试集对超参数优化后的训练后双目图像修复网络模型进行测试的具体操作为：

(4a)：将测试集中的双目图像依次输入一个训练后的双目图像修复网络模型中，得到所有双目图像的修复图像，计算修复图像与原始未损坏图像(即真值)的PSNR，然后求取测试集中所有双目图像的PSNR平均值，得到该双目图像修复网络模型的PSNR；

(4b)按照步骤(4a)所述的操作求取所有训练后的双目图像修复网络模型的PSNR，选取PSNR最大的双目图像修复网络模型作为最优双目图像修复网络模型。

其中，所述双目图像修复网络模型(如图1所示)包括特征提取模块、多尺度特征对齐及动态融合模块、特征精化模块。

所述特征提取模块用于对输入的一对双目图像进行特征提取，特征提取模块的输入为一对双目图像，输出为一对双目图像特征图，双目图像特征图包括左视角特征图和右视角特征图。特征提取模块使用5个共享权重的残差模块作为特征提取模块的主干，分别从输入网络的左视角图像和右视角图像中提取出图像的特征，得到左视角特征图和右视角特征图。

将特征提取模块输出的一对双目图像特征图进行缩放处理后，分别得到缩放后的3张完好图像特征图和1张损坏图像特征图，再将缩放后的特征图输入多尺度特征对齐及动态融合模块；所述3张完好图像特征图中第一完好图像特征图的分辨率大小为原始大小的1/4，第二完好图像特征图的分辨率大小为原始大小的1/2，第三完好图像特征图的分辨率大小与原始大小相同；所述损坏图像特征图的分辨率大小为原始大小的1/4；其中，分辨率大小均为原始大小的1/4的完好图像特征图和损坏图像特征图组成一对分辨率大小相同的双目图像特征图。

所述多尺度特征对齐及动态融合模块用于对特征提取模块输出的一对双目图像特征图进行特征对齐及特征融合处理，得到融合特征图并输出；所述多尺度特征对齐及动态融合模块的处理包含三个阶段，第一阶段包含1个特征对齐模块、1个动态融合模块，特征对齐模块用于将特征提取模块输出的一对分辨率大小相同的双目图像特征图进行特征对齐处理，得到第一对对齐双目图像特征图，动态融合模块用于将第一对对齐双目图像特征图进行特征融合处理，得到第一融合特征图；第二阶段包含1个上采样模块、1个嵌入层、1个特征对齐模块、1个动态融合模块，上采样模块对第一融合特征图进行上采样处理，使经上采样处理的第一融合特征图的分辨率与第二完好图像特征图的分辨率相同，嵌入层用于改善第二完好图像特征图的感受野，特征对齐模块用于将经嵌入层处理过的第二完好图像特征图与经上采样模块处理过的第一融合特征图进行对齐处理，得到第二对对齐双目图像特征图，动态融合模块用于将第二对对齐双目图像特征图进行特征融合处理，得到第二融合特征图；第三阶段包含1个上采样模块、1个嵌入层、1个特征对齐模块、1个动态融合模块，上采样模块对第二融合特征图进行上采样处理，使经上采样处理的第二融合特征图的分辨率与第三完好图像特征图的分辨率相同，嵌入层用于改善第三完好图像特征图的感受野，特征对齐模块用于将经嵌入层处理过的第三完好图像特征图与经上采样模块处理过的第二融合特征图进行对齐处理，得到第三对对齐双目图像特征图，动态融合模块用于将第三对对齐双目图像特征图进行特征融合处理，得到最终融合特征图；所述特征提取模块还将输出的一对双目图像特征图进行缩放处理，得到缩放后的3张分辨率不同的完好图像特征图和1张损坏图像特征图，所述缩放后损坏图像特征图与缩放后最小分辨率的完好图像特征图的分辨率大小相同；其中，多尺度特征对齐及动态融合模块进行特征对齐及特征融合的三个阶段中，特征对齐模块的结构都相同且参数不共享，动态融合模块的结构都相同。多尺度特征对齐及动态融合模块中的上采样模块均通过双线性插值进行上采样处理；所述多尺度特征对齐及动态融合模块进行特征对齐及特征融合处理的不同阶段的上采样模块的缩放因子不同，其中，第二阶段中上采样模块对应的分辨率缩放因子为0.5，第三阶段中上采样模块对应的分辨率缩放因子为1。

所述特征对齐模块(如图2所示)由右视角可变形卷积模块和左视角可变形卷积模块组成，使右视角可变形卷积模块输出的变形的右视角完好图像特征图与左视角可变形卷积模块输出的变形的左视角损坏图像特征图对齐。右视角可变形卷积模块和左视角可变形卷积模块均由1个卷积层、1个可变形卷积层、1个LeakyReLU激活函数层和1个跳连接机构组成，其中，可变形卷积层为每个元素位置为浮点数的大小为3×3的标准卷积核，可通过在标准卷积核中加入可学习的偏移量，灵活捕捉非固定区域的特征。所述特征对齐模块进行特征对齐的具体步骤为：输入特征对齐模块的一对双目图像特征图先沿通道维度连接，然后将连接过的左右视角特征图通过右视角可变形卷积模块中的卷积核加权，并结合LeakyReLU激活函数产生右视角完好图像特征图的偏移量；将右视角完好图像特征图的偏移量通过右视角可变形卷积模块中的可变形卷积层对右视角完好图像特征图进行变形，得到变形的右视角完好图像特征图；将变形的右视角完好图像特征图通过左视角可变形卷积模块中的卷积核加权，并结合LeakyReLU激活函数产生左视角损坏图像特征图的偏移量；将左视角损坏图像特征图的偏移量通过左视角可变形卷积模块中的可变形卷积层对左视角损坏图像特征图进行变形，得到变形的左视角损坏图像特征图。其中，如图3所示，利用可变形卷积层捕捉特征图的偏移量时，按如下公式进行卷积操作：

式中，O(k)是输出特征图的像素值，w是卷积的权重参数，I(k+k

所述动态融合模块(如图4所示)包括第一支路和第二支路，第一支路包含1个卷积层，第二支路包含1个sigmoid激活函数层。第一支路用于将输入的一对经特征对齐模块输出的对齐的双目图像特征图沿通道维度连接，连接后经过1个卷积层进行处理，得到初步融合的左右视角特征图；第二支路用于将输入的同一对经特征对齐模块输出的对齐的双目图像特征图以元素的方式相乘，相乘后经过1个sigmoid激活函数层将特征图映射到(0,1)进行处理，得到左右视角相似度图；最后将第一支路得到的初步融合的左右视角特征图与第二支路得到的左右视角相似度图以元素相乘的方式进行处理，得到融合特征图。其中，所述双目图像修复网络在训练过程中通过自适应学习的空间相似度图，使双目图像修复网络能够动态聚合不同分支的特征，促进双目图像修复网络产生更高品质的修复结果。

所述特征精化模块(如图5所示，图中“C”代表特征图通道数量)用于对多尺度特征对齐及动态融合模块输出的最终融合特征图进行精化处理，得到最终的修复图像并输出。所述特征精化模块包括2个交叉连接的残差结构。特征精化模块对最终融合特征图的处理过程为：输入特征精化模块的最终融合特征图通过1个标准卷积层和1个膨胀卷积层进行卷积处理，得到第一主干卷积特征图；最终融合特征图通过第一分支卷积层进行卷积处理，得到第一分支卷积特征图；将第一主干卷积特征图与第一分支卷积特征图进行元素相加后得到第一卷积特征图；将第一主干卷积特征图经第二分支卷积层进行卷积处理，得到第二分支卷积特征图；第一卷积特征图通过1个膨胀卷积层进行卷积处理，得到第二主干卷积特征图；将第二分支卷积特征图与第二主干卷积特征图进行元素相加后输入1个卷积层进行卷积处理，得到最终的修复图像。每个卷积层均包括LeakyReLU激活函数；第一膨胀卷积的膨胀率与第二膨胀卷积的膨胀率为倍数关系，其中，第一膨胀卷积的膨胀率为2，第二膨胀卷积的膨胀率为4。其中，两个交叉连接的残差连接有助于网络收敛，使特征精化模块增加网络的深度和感受野，以得到更精细的修复结果。

实施例2

一种双目图像修复方法，该方法为将待修复的一对双目图像输入双目图像修复网络模型进行修复，得到修复图像。

其中，所述双目图像修复网络模型为采用上述实施例1所述的双目图像修复网络模型的训练方法训练得到的最优双目图像修复网络模型。

待修复的双目图像包括一个左视角图像和一个右视角图像，左视角图像和右视角图像对应同一个场景，采集时间相同，左视角图像和右视角图像的重合率大于等于50％；而且，双目图像中的左视角图像或右视角图像为损坏图像。

实施例3

一种电子设备，包括存储器和处理器，所述存储器存储由计算机程序，所述处理器执行所述计算机程序时实现如上述实施例1所述的双目图像修复网络模型的训练方法，或者如上述实施例2所述的双目图像修复方法。

实施例4

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例1所述的双目图像修复网络模型的训练方法，或者上述实施例2所述的双目图像修复方法。

采用本发明实施例2所述的双目图像修复方法，对双目相机采集的同一场景的一对双目图像中的左视角图像(左视角图像为损坏图像)进行修复处理，而且，损坏图像保留其原始未损坏图像作为该损坏图像的真值。其修复结果如图6。

由图6可知，采用本发明双目图像修复方法修复得到的修复图像和受损图像的原始真值相近，而且修复图像的纹理和语义结构自然、合理，真实地还原了左视角损坏图像的破损区域的信息。

综上所述，本发明有效克服了现有技术中的不足，且具高度产业利用价值。上述实施例的作用在于说明本发明的实质性内容，但并不以此限定本发明的保护范围。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和保护范围。