一种基于注意力机制的跨模态图像修复方法及装置

摘要

本发明公开了一种基于注意力机制的跨模态图像修复方法及装置，方法包括：选取多模态数据集，包括缺损图像数据、真实图像数据和触觉信号，将该数据集划分为训练集和测试集；设计一个基于注意力机制的跨模态图像修复AGVI模型，该模型包括可学习特征提取、转移特征注意力、相关嵌入学习和跨模态图像修复四个模块；利用训练集对跨模态图像修复AGVI模型进行训练，得到最优的跨模态图像修复AGVI模型结构及网络参数；利用测试集中的触觉信号和缺损图像数据，基于最优的跨模态图像修复AGVI模型进行跨模态修复图像。本发明通过引入注意力机制，精准定位图像缺损区域，并利用触觉信号中的关键信息修复预测、填充该区域，实现图像高质量、细粒度修复。

说明书

技术领域

本发明涉及一种基于注意力机制的跨模态图像修复方法及装置，属于图像修复的技术领域。

背景技术

近年来，随着无线通信和多媒体技术的飞速发展，超高清视频、网络直播等多媒体视听业务已经基本满足了用户的视听需求。为了进一步追求更为极致的互动感受和场景体验，越来越多的用户正在探索视听以外的感官体验，如触摸、嗅觉、味觉等。随着5G通信下触觉互联网的迅猛发展，在传统视听业务中融入新兴触觉业务，即多模态业务，将在如虚拟游戏、远程教育、康复医疗等各种应用场景中为用户提供沉浸式体验。为了支撑这类由音频、视频、触觉组成的多模态业务，实现异构码流的高效传输显得至关重要。然而，在实际传输中，由于受噪声、传输损耗等因素影响，接收端往往会出现图像数据失真或缺损严重的问题，多模态信号的质量难以得到保障。

目前针对传输过程中图像失真、部分缺损问题的研究主要从图像修复进行考虑。主流的图像修复方法主要包括：1)基于信号处理；2)基于损失函数；3)基于深度模型这三类。

首先，利用典型的信号处理技术，如低秩矩阵、稀疏表示等进行图像修复，其主要思想是将原始数据矩阵表示为低秩部分或稀疏部分，并对其进行分析与应用。例如，研究人员提出了一种稀疏优化方法“l

其次，通过加强损失函数的约束作用，规范图像修复过程。例如，有学者充分利用视觉图像的先验知识，构建混合正则化损失函数，通过空间域和频谱域正则化项，寻找所有图像帧的误差拟合，实现图像高质量修复。为了进一步加强图像去噪的可控性，也有学者引入多样性目标函数，将输入噪声和图像语义进行关联，最小化图像间的修复距离，并允许用户通过手动调整噪声来操纵输出图像。这类方法对于损失函数的约束加强了图像修复过程，有利于提升修复图像质量，但是对于图像修复的细节捕捉上仍然存在缺陷。

最后，借助深度学习的优越性能实现图像的精准修复。随着人工智能技术的快速发展，深度学习因其强大的学习能力已经成为当前图像修复的主流技术。例如，研究人员基于深度模型设计了一种采用残差网络和递归学习的质量增强网络，显著减少具有相似频率特征的图像伪影，去除噪声引起的失真和模糊现象。此外，还有人将去噪问题建模为一个具有设计成本的函数优化过程，基于大量缺损图像和少量标记训练样本通过半监督学习估计模型参数，准确、有效地去除噪声，实现高质量图像修复。这类方法常常会达到较好的修复效果，但是面临着模型复杂度较高、计算量大等严重问题。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种基于注意力机制的跨模态图像修复方法及装置，本发明应用触觉信号跨模态修复视觉图像；具体地，本发明首先选取标准的多模态数据集模型训练和测试，并基于触觉信号建立了跨模态图像修复AGVI(Attention-Guided Cross-Modal Visual Image Inpainting)模型，实现跨模态图像修复。采用本发明能够准确定位图像缺损区域，在模型复杂度较低的情况下修复得到高质量，细粒度的图像，提升图像修复质量，保证终端业务水平和用户沉浸式体验。

本发明具体采用以下技术方案解决上述技术问题：

一种基于注意力机制的跨模态图像修复方法，包括以下步骤：

步骤1、选取多模态数据集，所述多模态数据集包括缺损图像数据、真实图像数据和触觉信号，并将该多模态数据集划分为训练集和测试集；

步骤2、设计一个基于注意力机制的跨模态图像修复AGVI模型，该模型包括：

可学习特征提取模块，用于提取触觉信号、缺损图像数据和真实图像数据的特征，并参与后续端到端的模型训练；

转移特征注意力模块，用于引入注意力机制，定位图像缺损区域，获取表征缺损区域的转移特征；

相关嵌入学习模块，用于结合真实标签信息构造相关嵌入学习空间，在最小化语义关联目标函数完成语义特征学习任务的同时，采用基于交叉熵的分类度量目标函数最小化预测标签和真实标签的差异，得到最终相关嵌入学习阶段不同模态间语义相似学习的总目标函数，挖掘触觉特征中与图像缺损区域最为相关的触觉特征；

跨模态图像修复模块，用于结合像素间感知约束损失函数、外观约束损失函数和对抗损失函数，利用所挖掘的与图像缺损区域最为相关的触觉特征对缺损图像数据进行跨模态修复；

步骤3、利用训练集对跨模态图像修复AGVI模型进行训练，得到最优的跨模态图像修复AGVI模型结构及网络参数；

步骤4、利用测试集中的触觉信号和缺损图像数据，基于最优的跨模态图像修复AGVI模型进行跨模态图像修复。

进一步地，作为本发明的一种优选技术方案，所述步骤1中选取多模态数据集，具体包括：

步骤(1-1)、选择缺损图像数据I、真实图像数据R和触觉信号H三种不同模态数据组成多模态数据集D；其中，真实图像数据为原始彩色图像信号，触觉信号为触觉原始信号经过预处理得到的触觉功率谱密度，缺损图像数据为真实图像数据经过缺损预处理得到缺损率为λ的图像，λ的取值范围在0到1之间；

步骤(1-2)、对于多模态数据集D中不同模态的数据，统计它们的真实标签信息Y，即使用独热one-hot编码，为每一个数据打上表示的内容信息所属的类别标签；

步骤(1-3)、从多模态数据集D中随机选取比例为α的数据作为训练集D

进一步地，作为本发明的一种优选技术方案，所述步骤2中可学习特征提取模块提取触觉信号、缺损图像数据和真实图像数据的特征，具体包括：

对于触觉信号H，采用门循环单元GRU和3层全连接网络作为触觉映射网络来获取触觉特征h和触觉特征预测标签y

对于缺损图像数据I和真实图像数据R，均采用深度卷积神经网络所构成的图像映射网络提取浅层的缺损图像特征i和真实图像特征r；具体过程为：

其中，h、i和r分别为触觉特征、缺损图像特征和真实图像特征，h、i和r的维度分别为

进一步地，作为本发明的一种优选技术方案，所述步骤2中转移注意力模块获取表征缺损区域的转移特征，具体包括：

步骤A、对于缺损图像特征i和真实图像特征r，将每一个特征值定义为一个特征单元，即

其中，c

步骤B、从真实图像特征中转移与缺损图像特征中表征缺损区域的每个特征单元最相关的部分，即对k行l列的余弦相似度矩阵c

其中，a

步骤C、基于转移注意力索引，对真实图像特征r进行特征选择操作，以期从真实图像特征中获取表征图像缺损区域的转移特性t，该过程表示为：

t

其中，t

进一步地，作为本发明的一种优选技术方案，所述步骤2中相关嵌入学习模块挖掘触觉特征中与图像缺损区域最为相关的触觉特征，具体包括：

步骤A、利用真实标签信息Y＝{y},y∈{1,2,…,C}构造相关嵌入学习空间，完成语义特征学习任务，这一过程主要通过最小化语义关联目标函数L

δ

其中，y表示真实标签，C表示训练数据类别总数，N表示训练数据总数，s

步骤B、为了进一步增强特征辨析能力，采用基于交叉熵的损失函数最小化预测标签和真实标签的差异，完成语义分类，这一过程表示为：

其中，L

步骤C、综合上述步骤A和步骤B，得到相关嵌入学习阶段不同模态间语义相似学习的总目标函数，表示为：

L

其中，L

进一步地，作为本发明的一种优选技术方案，所述步骤2中跨模态图像修复模块利用所挖掘的与图像缺损区域最为相关的触觉特征对缺损图像数据进行跨模态修复，具体包括：

步骤A、采用解码器网络实现跨模态图像修复；具体地，将触觉特征h和缺损图像特征i相加，得到修复图像特征

其中，θ

步骤B、对上述步骤A中修复图像的分布结构进行约束；具体地，采用对抗损失函数来学习真实图像数据分布，定义对抗损失函数L

其中，L

步骤C、综合步骤A和步骤B中的外观约束损失函数L

L

其中，L

进一步地，作为本发明的一种优选技术方案，所述步骤3中利用训练集对跨模态图像修复AGVI模型进行训练，具体包括：

步骤(3-1)、根据修复图像

D

其中，y

步骤(3-2)、初始化AGVI模型的网络参数集合，这个集合包括θ

步骤(3-3)、设置总迭代次数为G，使用g记录具体迭代次数；

步骤(3-4)、采用随机梯度下降法，训练跨模态图像修复AGVI模型，具体过程如下：

步骤①、设定超参数α

步骤②、计算跨模态图像修复AGVI模型中各个网络的输出：

h＝F

步骤③、开始迭代；基于梯度下降法和Adam优化器，从目标的负梯度方向对各个网络的参数集合进行更新：

其中，L

步骤④、如果g＜G，则跳转到步骤(3-4)中的步骤③，g＝g+1，继续下一次迭代；否则，终止迭代；

步骤(3-5)、经过G轮迭代后，最终输出最优的跨模态图像修复AGVI模型的结构及网络参数。

进一步地，作为本发明的一种优选技术方案，所述步骤4中基于最优的跨模态图像修复AGVI模型进行跨模态图像修复，具体包括：

步骤(4-1)、步骤1中划分的测试集D

D

其中，I'

步骤(4-2)、将测试集D

本发明还提出一种基于注意力机制的跨模态图像修复装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的一种基于注意力机制的跨模态图像修复方法。

本发明采用上述技术方案，能产生如下技术效果：

(1)本发明为了精准定位图像的缺损区域，引入注意力机制进行权值分配，重点关注图像缺损区域，以充分获取表征缺损区域的转移特征，提高了模型修复的准确度和完整性。

(2)本发明的模型在度量不同模态的相似性时，引入了公共语义和标签信息，通过语义关联和类别度量目标函数的双重约束，不断缩小转移特征和触觉特征的差距，提炼触觉特征中与图像缺损区域相关度最高的部分触觉特征，用于缺损图像数据的跨模态修复。

(3)本发明使用解码器网络结构，在语义和监督信息的约束下，通过像素间的感知约束损失函数和外观约束损失函数、以及基于图像分布的对抗损失函数，实现缺损图像的高质量、细粒度的全面修复。同时，在不增加模型复杂度的基础上，从语义和分布上提高图像质量。

附图说明

图1为本发明的方法的流程示意图。

图2为本发明的基于注意力机制的跨模态图像修复模型的结构示意图。

图3为本发明装置的结构框架图。

图4为本发明方法与现有方法的比较结果图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。

需要拟定高效、准确的跨模态图像修复方法，能够精准定位缺损区域、并挖掘触觉信号中的有效信息实现高质量的图像数据修复。近年来，编码器-解码器网络在图像修复领域取得了较好的成功，注意力机制也为精准定位图像缺损区域提供了简单高效的途径。因此本发明提出一种基于注意力机制的跨模态图像修复方法。基于注意力机制的选择性关注能力，能够重点精准定位图像缺损区域，并得到该区域的转移特征；相关嵌入学习模块结合真实标签信息构造相关嵌入学习空间，在最小化语义关联目标函数完成语义特征学习任务的同时，采用基于交叉熵的分类度量目标函数最小化预测标签和真实标签的差异，得到最终相关嵌入学习阶段不同模态间语义相似学习的总目标函数，挖掘触觉特征中与图像缺损区域最为相关的触觉特征；基于自编码器的生成模型在拟合像素间差异和分布差异的感知约束损失函数、外观约束损失函数和对抗损失函数的约束下，利用所挖掘的与图像缺损区域最为相关的触觉特征实现缺损图像数据的跨模态修复，在不增加模型复杂度的基础上，从语义和分布上提高图像质量。

具体地，如图1所示，本发明涉及一种基于注意力机制的跨模态图像修复方法，该方法具体包括如下步骤：

步骤1、选取多模态数据集，所述多模态数据集包括缺损图像数据、真实图像数据和触觉信号，并将该多模态数据集划分为训练集和测试集，具体如下：

步骤(1-1)、选择缺损图像数据I、真实图像数据R和触觉信号H三种不同模态数据组成多模态数据集D；其中，真实图像数据为原始彩色图像信号，触觉信号为触觉原始信号经过预处理得到的触觉功率谱密度，缺损图像数据为真实图像数据经过缺损预处理得到缺损率为λ的图像，这里λ取40％。

步骤(1-2)、对于多模态数据集D中不同模态的数据，统计它们的真实标签信息Y，即使用独热one-hot编码，为每一个数据打上表示的内容信息所属的类别标签。

步骤(1-3)、从多模态数据集D中随机选取比例为α的数据作为训练集D

步骤2、设计一个基于注意力机制的跨模态图像修复AGVI模型，如图2所示，该模型包括可学习特征提取模块、转移特征注意力模块、相关嵌入学习模块和跨模态图像修复模块四个模块，这些模块的功能是：首先，提取真实图像数据、缺损图像数据和触觉信号的底层特征；其次，根据注意力机制的选择性关注能力，重点定位图像缺损区域，并得到该区域的转移特征；然后，引入相似度量和监督信息，在语义关联和类别度量损失函数的约束下，结合真实标签信息构造相关嵌入学习空间，在最小化语义关联目标函数完成语义特征学习任务的同时，采用基于交叉熵的分类度量目标函数最小化预测标签和真实标签的差异，得到最终相关嵌入学习阶段不同模态间语义相似学习的总目标函数，尽可能挖掘触觉特征中与图像缺损区域最为相关的触觉特征部分；最后，结合像素间感知约束损失函数、外观约束损失函数和对抗损失函数，利用所挖掘的与图像缺损区域最为相关的触觉特征对缺损图像数据进行跨模态修复，保障终端视频信号质量，具体如下：

步骤(2-1)、可学习特征提取模块，用于提取触觉信号、缺损图像数据和真实图像数据的特征，并参与后续端到端的模型训练，具体实现过程如下：

对于触觉信号H采用门循环单元(Gated Recurrent Unit，GRU)和3层全连接网络作为触觉映射网络来提取触觉特征h，GRU网络由重置门和更新门组成，设置单元数为128，全连接层的输出维度为1024，128，8，输出一个128维的触觉特征h，全连接层的最后一层为sigmoid层，用于输出触觉特征预测标签y

对于大小为128x128的缺损图像数据I和真实图像数据R，为了确保缺损图像与真实图像特征在分布上的一致性，采用深度卷积神经网络作为图像映射网络来提取层次化特征，该网络包含3个卷积层和3个全连接层，卷积核数分别为256，128，64，卷积核大小为4x4，全连接层的输出维度为1024，128，最后一个全连接层输出128维的缺损图像特征i和真实图像特征r，具体过程为：

在上式中，h、i和r分别为触觉特征、缺损图像特征和真实图像特征，h、i和r的维度分别为

步骤(2-2)、转移特征注意力模块，用于引入注意力机制，精准定位图像缺损区域，获取表征缺损区域的转移特征，具体实现过程如下：

步骤A、对于缺损图像特征i和真实图像特征r，将每一个特征值定义为一个特征单元，即

其中，c

步骤B、从真实图像特征中转移与缺损图像特征中表征缺损区域的每个特征单元最相关的部分，即对k行l列的余弦相似度矩阵c

其中，a

步骤C、基于转移注意力索引，对真实图像特征r进行特征选择操作，以期从真实图像特征中获取表征图像缺损区域的转移特性t，该过程表示为：

t

其中，t

步骤(2-3)、相关嵌入学习模块，用于结合真实标签信息构造相关嵌入学习空间，在最小化语义关联目标函数完成语义特征学习任务的同时，采用基于交叉熵的分类度量目标函数最小化预测标签和真实标签的差异，得到最终相关嵌入学习阶段不同模态间语义相似学习的总目标函数，挖掘触觉特征中与图像缺损区域最为相关的触觉特征，具体实现过程如下：

步骤A、利用类别标签信息Y＝{y},y∈{1,2,…,C}构造相关嵌入学习空间，完成语义特征学习任务，这一过程主要通过最小化语义关联目标函数L

δ

其中，y表示真实标签，C表示训练数据类别总数，N表示训练数据总数，s

步骤B、为了进一步增强特征辨析能力，采用基于交叉熵的损失函数最小化预测标签和真实标签的差异，完成语义分类，这一过程表示为：

其中，L

步骤C、综合步骤A、B的损失函数，得到相关嵌入学习阶段不同模态间语义相似学习的总目标函数，可以表示为：

L

其中，L

(2-4)、跨模态图像修复模块，用于结合像素间感知约束损失函数、外观约束损失函数和对抗损失函数，利用所挖掘的与图像缺损区域最为相关的触觉特征对缺损图像数据进行跨模态修复，具体实现过程如下：

步骤A、采用解码器网络实现跨模态图像修复；具体地，将触觉特征h和缺损图像特征i相加，得到修复图像特征

其中，θ

在这个模块中，解码器De包含2个全连接层和4个反卷积层，全连接层的维度分别为128，1024，反卷积的数量为64，128，256，512，输出为128x128的修复图像

步骤B、跨模态修复图像后，进一步对上述步骤A中修复图像的分布结构进行约束；具体地，采用对抗损失函数来学习真实图像数据分布，定义对抗损失函数L

其中，L

步骤C、综合步骤A和步骤B中的外观约束损失函数L

L

其中，L

步骤3、利用训练集对跨模态图像修复AGVI模型进行训练，得到最优的跨模态图像修复AGVI模型结构及网络参数，具体如下：

步骤(3-1)、根据修复图像

D

其中，y

步骤(3-2)、初始化AGVI模型的网络参数集合，这个集合包括θ

步骤(3-3)、设置总迭代次数为G＝400，使用g记录具体迭代次数。

步骤(3-4)、采用随机梯度下降法，训练AGVI模型；具体过程如下：

步骤①、设定超参数α

步骤②、计算AGVI模型中各个网络的输出：

h＝F

步骤③、开始迭代；基于梯度下降法和Adam优化器，从目标的负梯度方向对各个网络的参数集合进行更新：

其中，L

步骤④、如果g＜G，则跳转到步骤(3-4)中的步骤③，迭代次数加1(g＝g+1)，继续下一次迭代；否则，终止迭代。

步骤(3-5)经过G轮迭代后，最终输出最优的AGVI模型结构及网络参数。

步骤4、利用测试集中的触觉信号和缺损图像数据，基于最优的跨模态图像修复AGVI模型进行跨模态图像修复，具体如下：

步骤(4-1)、步骤1中划分的测试集D

D

其中，I'

(4-2)、将测试集D

如图3所示，本发明还涉及一种基于注意力机制的跨模态图像修复装置，该装置具体包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；其中：

1、使用存储器，用于存储至少一个程序。

2、使用处理器，用于加载至少一个程序以执行本实施例中所述的一种基于注意力机制的跨模态图像修复方法，实现缺损图像高质量、细粒度修复。

性能评价：

本发明按照上述流程进行实验，选取LMT材料表面标准数据集作为实验数据集，该数据集由文献“Multimodal Feature-based Surface Material Classification”(作者是Matti Strese,Clemens Schuwerk,Albert Iepure,和Eckehard Steinbach，于2017年4月发表在IEEE TRANSACTIONS ON HAPTICS期刊上)。包含图像、声音和触觉加速度三种实例的材料信息，从每个类别中选取80％的数据(触觉、图像)作为训练集，剩余20％作为测试集。

现有方法一：文献“PatchMatch:A randomized correspondence algorithm forstructural image editing”(作者Connelly Barnes,Eli Shechtman,Adam Finkelstein,Dan B Goldman等人)，提出了一种典型的块匹配图像修复算法，通过未缺损区域寻找相似块复制到缺损区域来进行图像修复。这是一种模态内的修复方法，主要基于图像自身的信息进行修复。

现有方法二：文献“Context Encoders:Feature Learning by Inpainting”(作者：Deepak Pathak,Philipp

现有方法三：文献“Unsupervised Representation Learning with DeepConvolutional Generative Adversarial Networks”(作者Radford Alec,Metz Luke,Chintala Soumith)提出了一种基于深度卷积生成对抗网络的图像修复模型，包括两个模型：一个用来捕获数据分布的生成模型G，和一个用来估计样本来自训练数据而不是G的概率的判别模型D，基于对抗博弈的方式实现图像的修复。

现有方法四：文献“Text-Guided Neural Image Inpainting”(作者Lisai Zhang,Qingcai Chen,Baotian Hu,Shuoran Jiang)提出了一种基于文字引导的图像修复算法，以描述性文本作为条件，通过注意力机制比较给定文本和剩余图像的语义内容，找出为缺损部分填充的语义内容进行图像修复。

基准方法一：移除注意力机制模块，仅仅使用触觉特征与缺损图像特征相融合，实现修复图像。该方法可以用来验证注意力机制模块的重要性。

本发明：本实施例的方法。

实验主要从主观定性评价合客观定量评价两个角度对修复图像质量进行评估。

首先，在主观定性评价方面，图4分别展示了对比方案和本发明方法的AGVI模型的图像修复效果图。本次实验的缺损率为40％，缺损区域大小约为51*51。其中，每行图像从左到右分别代表原图、缺损图像、现有方法一、现有方法二、现有方法三、现有方法四、基准方法一以及本发明方法的AGVI模型。由图4可知，相较于深度图像修复方法，现有方法一的修复结果在视觉感知上效果较差，无法清晰辨析纹理，也出现了较为明显的图像模糊和细节缺失问题。基于自编码器的现有方法二对于破损区域只有准确、合理的颜色修复，而结构和纹理细节依然十分模糊。现有方法三相较于现有方法一和现有方法二，修复结果虽然呈现了较为清晰的纹理和结构特征，但是在边缘处存在较为明显的模糊和伪影现象。而在本发明方法的AGVI模型的修复结果中，不仅修复区域与整体图像的语义信息较为贴合，而且边缘处伪影和模糊现象消失、修复效果更加逼真。同时，相较于基准方法一，所设计模型具有更完整的纹理和结构息，图像修复性能最佳。

表I本发明的评估结果展示

其次，在客观定量评价方面，采用图像质量评价指标中常用的均方误差(MeanSquare Error，MSE)和结构衡量指标(Structure Similarity Index Measure，SSIM)，MAE越小，SSIM越小，说明跨模态修复的图像质量越好。表I展示了本发明的AGVI模型和其他对比模型的MSE分数和SSIM分数，分别从图像感知和结构比对两个角度评估AGVI模型性能。从表中可以看出，本发明的AGVI模型具有最高的MSE分数和最高的SSIM分数。现有方法一、现有方法二及现有方法三主要基于缺损图像自身信息进行模态内的修复，但是在图像严重缺损时，修复效果较差，其MSE分数达到了130左右，而SSIM值仅为0.6左右。而现有方法四、基准方法一和本发明AGVI模型则验证了非图像模态信息对于缺损区域的内容修复能力，以及注意力机制对于修复效果的明显提升。尤其是本发明方法设计的AGVI模型，因其将自编码器的修复能力和注意力机制的选择关注能力相结合，修复结果具有最好的视觉质量。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。