基于跨尺度注意力网络的图像超分辨率重建模型及方法

摘要

本发明提供一种基于跨尺度注意力网络的图像超分辨率重建模型及方法，包括浅层特征提取模块、多尺度残差模块和重建模块；浅层特征提取模块用于提取低分辨率图像的浅层特征；多尺度残差模块包括若干个级联的高阶跨尺度注意力组、一个特征融合模块和一个全局残差加法器；高阶跨尺度注意力组与特征融合模块以级联方式连接，同时各个高阶跨尺度注意力组以其前一个高阶跨尺度注意力组的输入特征和输出特征作为输入。通过构建的图像超分辨率重建模型学习多尺度特征在跨尺度及尺度内的通道相关性，并根据相关性调整注意力权重，实现了多尺度特征的自适应调整，从而提高网络对特征的辨析学习能力，进而提高了图像超分辨率重建质量。

说明书

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种基于跨尺度注意力网络的图像超分辨率重建模型及方法。

背景技术

图像超分辨率重建技术作为一种后处理手段，能够在不增加硬件成本的情况下增强图像的分辨率，近年来成为图像处理、计算机视觉领域的研究热点。传统的超分辨率重建方法主要分为基于插值的方法、基于重建的方法和基于学习的方法三类。基于学习的方法由于在运算速度和重建质量方面明显优于其它两类方法，获得了学术界和工业界更多的关注。目前很多的超分辨率重建方案都利用了多尺度特征来提高图像重建的质量。例如，公开号为CN110415170A的专利提供了一种基于多尺度注意力卷积神经网络的图像超分辨率方法；公开号为CN111754404A的专利提供了一种基于多尺度机制和注意力机制的遥感图像时空融合方法；公开号为CN110992270A的专利提供了一种基于注意力的多尺度残差注意网络图像超分辨率重建方法。但是这些方案都未考虑多尺度特征跨尺度和尺度内的通道相关性，图像重建质量仍有待提高。

发明内容

本发明的目的在于提供一种基于跨尺度注意力网络的图像超分辨率重建模型及方法，用以实现提高图像超分辨率重建质量的技术效果。

第一方面，本发明提供了一种基于跨尺度注意力网络的图像超分辨率重建模型，包括；浅层特征提取模块、多尺度残差模块和重建模块；所述浅层特征提取模块用于从输入的低分辨率图像中提取浅层特征；所述多尺度残差模块包括若干个级联的高阶跨尺度注意力组、一个特征融合模块和一个全局残差加法器；所述高阶跨尺度注意力组与所述特征融合模块以级联方式连接，同时各个高阶跨尺度注意力组以其前一个高阶跨尺度注意力组的输入特征和输出特征作为输入；所述多尺度残差模块通过所述高阶跨尺度注意力组从所述浅层特征中提取不同深度的残差特征，然后通过所述特征融合模块对所述残差特征进行融合，得到对应的融合特征，并通过所述全局残差加法器将所述浅层特征与该融合特征相加得到对应的深层特征；所述重建模块用于根据所述深层特征进行上采样和特征重构，输出最终的高分辨率图像。

进一步地，所述高阶跨尺度注意力组包括一个密集特征融合模块、若干个级联的残差嵌套模块以及一个高阶跨尺度注意力模块；所述密集特征融合模块用于对获取到的特征进行融合；所述残差嵌套模块包括第一残差学习模块和第二残差学习模块；所述第一残差学习模块包括并联的基本残差块和宽激活残差块，所述基本残差块和宽激活残差块均为“卷积层-ReLU层-卷积层”结构，区别在于所述宽激活残差块在ReLU层激活之前进行了通道扩展处理，在ReLU层激活之后进行通道压缩处理；所述第二残差学习模块包括一个n×n卷积层，其中n为大于1的奇数；所述基本残差块的输出与所述宽激活残差块的输出相减后作为所述第二残差学习模块的输入；所述第二残差学习模块的输出与所述基本残差块的输出相加并经一个n×n卷积层学习后，与当前获取到的特征相加并输出至下一个模块；所述高阶跨尺度注意力模块用于根据最后一个残差嵌套模块的输出结果提取若干个多尺度特征，并分析各个多尺度特征的跨尺度注意力权重和尺度内注意力权重，根据所述跨尺度注意力权重和尺度内注意力权重调整多尺度特征并进行特征融合。

进一步地，所述高阶跨尺度注意力模块包括多尺度特征提取子网络、跨尺度注意力生成子网络、尺度内注意力生成子网络以及多尺度特性调整与融合子网络；所述多尺度特征提取子网络由一个1×1卷积层和若干个具有不同间隔的空洞卷积层并联组成，且每个卷积层具有不同的感知域；所述跨尺度注意力生成子网络用于根据所述多尺度特征分析对应的跨尺度注意力权重；所述尺度内注意力生成子网络用于根据所述多尺度特征分析对应的尺度内注意力权重；所述多尺度特性调整与融合子网络用于将各个多尺度特征与其对应的跨尺度注意力权重和尺度内注意力权重相乘，并由Concat层拼接后，输入一个n×n卷积层进行特征融合。

进一步地，所述跨尺度注意力生成子网络包括若干个与所述多尺度特征提取子网络中的各个卷积层一一对应连接的CONV-CC层和若干个跨尺度注意力权重分析单元；所述CONV-CC层是输出通道为1的1×1卷积层，且各个所述CONV-CC层并列设置；所述多尺度特征提取子网络中各个卷积层的输出并列输入各个所述CONV-CC层；所述跨尺度注意力权重分析单元包括一个计算层、一个全局池化层和一个Sigmoid层，负责为对应尺度获取跨尺度注意力权重；所述计算层将除对应尺度外其余尺度相同位置上的CONV-CC层的输出相乘并进行累加后，再与所述多尺度特征提取子网络中的对应尺度卷积层的输出进行相乘；然后通过所述全局池化层和所述Sigmoid层得到对应尺度的跨尺度注意力权重。

进一步地，所述尺度内注意力生成子网络包括一个全局池化层；与该全局池化层连接的一个“卷积层-ReLU层-卷积层”结构；与该“卷积层-ReLU层-卷积层”结构连接的Sigmoid层。

进一步地，所述多尺度特性调整与融合子网络包括与所述多尺度特征提取子网络中的卷积层一一对应连接的若干个乘法器；与各个乘法器连接的一个Concat层；以及与该Concat层连接的一个n×n卷积层；所述多尺度特征提取子网络中各个卷积层的输出与对应的跨尺度注意力权重和尺度内注意力权重通过各个乘法器进行相乘；然后由Concat层进行拼接；最后输入n×n卷积层进行特征融合。

第二方面，本发明提供了一种基于跨尺度注意力网络的图像超分辨率重建方法，应用于上述的图像超分辨率重建模型，包括：

S1.根据图像退化模型建立训练集，得到N个低分辨率图像I

S2.将所述低分辨率图像输入到浅层特征提取模块以提取图像的浅层特征；

S3.将浅层特征输入多尺度残差模块提取深层特征；

S4.将所述深层特征输入重建模块，进行亚像素卷积完成上采样处理，并重建出最后的高分辨率图像；

S5.通过损失函数对所述图像超分辨率重建模型进行优化，所述损失函数使用N个重建高分辨率图像与对应真实高分辨率图像间的平均L1误差，表达式为：

式中，L(Θ)表示损失函数，f

进一步地，所述多尺度残差模块包括若干个级联的高阶跨尺度注意力组、一个特征融合模块以及一个全局残差加法器，所述S3包括：

S31.通过若干个级联的高阶跨尺度注意力组对所述浅层特征进行分析，得到不同深度的残差特征；

S32.通过所述特征融合模块对所述残差特征进行融合，得到对应的融合特征；

S33.通过全局残差加法器将所述浅层特征和所述融合特征进行相加，得到对应的深层特征。

进一步地，所述高阶跨尺度注意力组包括一个密集特征融合模块、若干个级联的残差嵌套模块以及一个高阶跨尺度注意力模块，所述S31包括：

通过所述密集特征融合模块对获取到的特征进行融合；

通过若干个级联的残差嵌套模块对融合后的特征获取不同深度的残差特征，并通过高阶跨尺度注意力模块进行局部残差学习。

进一步地，所述高阶跨尺度注意力模块包括多尺度特征提取子网络、跨尺度注意力生成子网络、尺度内注意力生成子网络以及多尺度特性调整与融合子网络；所述通过高阶跨尺度注意力模块进行局部残差学习的步骤包括：

通过所述多尺度特征提取子网络对最后一个残差嵌套模块输出的特征进行提取，获取若干个多尺度特征；

通过跨尺度注意力生成子网络分析所述多尺度特征的跨尺度注意力权重；

通过尺度内注意力生成子网络分析所述多尺度特征的尺度内注意力权重；

通过多尺度特性调整与融合子网络将每一个多尺度特征与其对应的跨尺度注意力权重和尺度内注意力权重相乘，并由Concat层拼接后，输入n×n卷积层进行特征融合。

本发明能够实现的有益效果是：本发明将多尺度特征与注意力机制结合起来，通过构建的图像超分辨率重建模型学习多尺度特征在跨尺度及尺度内的通道相关性，并根据相关性调整注意力权重，实现了多尺度特征的自适应调整，从而提高网络对特征的辨析学习能力，进而提高了图像超分辨率重建质量。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种图像超分辨率重建模型的拓扑结构示意图；

图2为本发明实施例提供的一种高阶跨尺度注意力组的拓扑结构示意图；

图3为本发明实施例提供的一种残差嵌套模块拓扑结构示意图；

图4为本发明实施例提供的一种高阶跨尺度注意力模块的拓扑结构示意图；

图5为本发明实施例提供的一种跨尺度注意力生成子网络的拓扑结构示意图；

图6为本发明实施例提供的一种尺度内注意力生成子网络的拓扑结构示意图；

图7为本发明实施例提供的一种图像超分辨率重建方法的流程示意图。

图标：10-图像超分辨率重建模型；100-浅层特征提取模块；200-多尺度残差模块；210-高阶跨尺度注意力组；211-密集特征融合模块；212-残差嵌套模块；213-高阶跨尺度注意力模块；2131-多尺度特征提取子网络；2132-跨尺度注意力生成子网络；2133-尺度内注意力生成子网络；2134-多尺度特性调整与融合子网络；220-特征融合模块；230-全局残差加法器；300-重建模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参看图1，图1为本发明实施例提供的一种图像超分辨率重建模型的拓扑结构示意图。

经申请人研究发现，现有的很多图像超分辨率重建方法都倾向于采用注意力机制来提高网络的表达能力，获取更高的评价指标，但是现有的方法都未考虑通过学习跨尺度和尺度内的通道相关性来自适应调整多尺度特征注意力权重的问题，所以图像重建时细节特征处理结果还有待提高，因此本发明实施例提供了一种基于跨尺度注意力网络的图像超分辨率重建模型，以解决上述问题。

在一种实施方式中，本发明实施例提供的图像超分辨率重建模型包括浅层特征提取模块、多尺度残差模块和重建模块；浅层特征提取模块用于从输入的低分辨率图像中提取浅层特征；多尺度残差模块包括若干个级联的高阶跨尺度注意力组、一个特征融合模块和一个全局残差加法器；高阶跨尺度注意力组与特征融合模块以级联方式连接，同时各个高阶跨尺度注意力组以其前一个高阶跨尺度注意力组的输入特征和输出特征作为输入；多尺度残差模块通过高阶跨尺度注意力组从浅层特征中提取不同深度的残差特征，然后通过特征融合模块对残差特征进行融合，得到对应的融合特征，并通过全局残差加法器将浅层特征与该融合特征相加得到对应的深层特征；重建模块用于根据深层特征进行上采样和特征重构，输出最终的高分辨率图像。

如图1所示，在上述实现过程中，高阶跨尺度注意力组可以设为G个(G为大于2的整数)；浅层特征提取模块包括一个n×n卷积层(n×n CONV)，其中n为大于1的奇数；各个高阶跨尺度注意力组之间采用密集跳线连接，特征融合模块包括一个1×1卷积层(1×1CONV)和一个n×n卷积层(n×n CONV)，以融合来自前序多个高阶跨尺度注意力组的不同深度的特征；全局残差加法器将浅层特征与融合后的深层残差特征相加，确保网络专注于学习高频的残差特征。重建模块包括一个亚像素卷积层(UPSAMPLE)和一个n×n卷积层(n×n CONV)，用于将多尺度残差模块所输出的深层特征进行上采样和特征重构，输出最终的高分辨率图像。

请参看图2和图3，图2为本发明实施例提供的一种高阶跨尺度注意力组的拓扑结构示意图；图3为本发明实施例提供的一种残差嵌套模块拓扑结构示意图。

在一种实施方式中，高阶跨尺度注意力组包括一个密集特征融合模块、若干个级联的残差嵌套模块以及一个高阶跨尺度注意力模块；密集特征融合模块用于对获取到的特征进行融合；残差嵌套模块包括第一残差学习模块和第二残差学习模块；第一残差学习模块包括并联的基本残差块和宽激活残差块，基本残差块和宽激活残差块均为“卷积层-ReLU层-卷积层”结构，区别在于宽激活残差块在ReLU层激活之前进行了通道扩展处理，在ReLU层激活之后进行通道压缩处理；第二残差学习模块包括一个n×n卷积层；基本残差块的输出与宽激活残差块的输出相减后作为第二残差学习模块的输入；第二残差学习模块的输出与基本残差块的输出相加并经一个n×n卷积层学习后，与当前获取到的特征相加并输出至下一个模块；高阶跨尺度注意力模块用于根据最后一个残差嵌套模块的输出结果提取若干个多尺度特征，并分析各个多尺度特征的跨尺度注意力权重和尺度内注意力权重，根据跨尺度注意力权重和尺度内注意力权重调整多尺度特征并进行特征融合。

如图3所示，在上述实现过程中，每个残差嵌套模块进行两阶残差学习，具体地：第一阶残差学习通过第一残差学习模块进行，第二阶残差学习通过第二残差学习模块进行；第一残差学习模块并联了一个基本残差块和一个宽激活残差块，基本残差块从输入特征x中学习到残差F

R

R

z＝f

f

请参看图4，图4为本发明实施例提供的一种高阶跨尺度注意力模块的拓扑结构示意图。

在一种实施方式中，高阶跨尺度注意力模块包括多尺度特征提取子网络、跨尺度注意力生成子网络、尺度内注意力生成子网络以及多尺度特性调整与融合子网络；多尺度特征提取子网络由一个1×1卷积层和若干个具有不同间隔的空洞卷积层并联组成，且每个卷积层具有不同的感知域；跨尺度注意力生成子网络用于根据多尺度特征分析对应的跨尺度注意力权重；尺度内注意力生成子网络用于根据多尺度特征分析对应的尺度内注意力权重；多尺度特性调整与融合子网络用于将各个多尺度特征与其对应的跨尺度注意力权重和尺度内注意力权重相乘，并由Concat层拼接后，输入一个n×n卷积层进行特征融合。

在上述实现过程中，多尺度特征提取子网络由一个1×1卷积层和若干个具有不同间隔(Dilation rate,d)的空洞卷积层并联组成，每个卷积层具有不同的感知域，因此能提取多个不同尺度的特征。

在上述实现过程中，多尺度特性调整与融合子网络包括与多尺度特征提取子网络中的卷积层一一对应连接的若干个乘法器；与各个乘法器连接的一个Concat层；以及与该Concat层连接的一个n×n卷积层；多尺度特征提取子网络中各个卷积层的输出与对应的跨尺度注意力权重和尺度内注意力权重通过各个乘法器进行相乘；然后由Concat层进行拼接；最后输入n×n卷积层进行特征融合。

具体地，假设高阶跨尺度注意力模块使用多尺度特征提取子网络提取出S个多尺度特征M

式中，

请参看图5和图6，图5为本发明实施例提供的一种跨尺度注意力生成子网络的拓扑结构示意图；图6为本发明实施例提供的一种尺度内注意力生成子网络的拓扑结构示意图。

如图5所示，在一种实施方式中，跨尺度注意力生成子网络包括若干个与多尺度特征提取子网络中的各个卷积层一一对应连接的CONV-CC层以及若干个跨尺度注意力权重分析单元；CONV-CC层是输出通道为1的1×1卷积层，且各个CONV-CC层并列设置；多尺度特征提取子网络中各个卷积层的输出并列输入各个CONV-CC层；跨尺度注意力权重分析单元包括一个计算层、一个全局池化层和一个Sigmoid层，负责为对应尺度获取跨尺度注意力权重；计算层将除对应尺度外其余尺度相同位置上的CONV-CC层的输出相乘并进行累加后，再与多尺度特征提取子网络中的对应尺度卷积层的输出进行相乘；然后通过全局池化层(Global pooling)和Sigmoid层得到对应尺度的跨尺度注意力权重。

具体地，跨尺度注意力生成子网络可以通过低秩近似(k阶近似)的方法推导出相应的神经网络结构，来近似实现多尺度特征跨尺度的S阶通道相关性张量。具体地，将每一个尺度特征，并列输入k个CONV-CC层，CONV-CC层是输出通道为1的1×1卷积层。以第一个尺度(M

需要说明的是，上述实现过程中，S和k均为大于1的整数，可以根据实际情况进行设置。

示例性的，跨尺度注意力生成子网络可按照以下方式构建：

本发明用一个高阶张量T来模型化表示多尺度特征跨尺度的通道相关性，令(M

其中，1

给定尺度l和它的第c

其中，

其中，W

其中，w

其中，1

如图6所示，在一种实施方式中，尺度内注意力生成子网络包括一个全局池化层；与该全局池化层连接的一个“卷积层-ReLU层-卷积层”结构；与该“卷积层-ReLU层-卷积层”结构连接的Sigmoid层。

在给定尺度l的情况下，对多尺度特征M

接着采用通道压缩-通道扩展方式从z

β

其中，δ(·)为ReLU激活函数，

在一种实施方式中，本发明实施例还提供了一种应用于上述图像超分辨率重建模型上的图像超分辨率重建方法，其具体内容如下所述。

S1.根据图像退化模型建立训练集，得到N个低分辨率图像I

具体地，训练集可以表示为

S2.将所述低分辨率图像输入到浅层特征提取模块以提取图像的浅层特征，表达式如下：

F

其中，I

S3.将浅层特征输入多尺度残差模块提取深层特征，表达式如下：

F

其中，F

S4.将所述深层特征输入重建模块，进行亚像素卷积完成上采样处理，并重建出最后的高分辨率图像，表达式为：

I

其中I

S5.通过损失函数对所述图像超分辨率重建模型进行优化，所述损失函数使用N个重建高分辨率图像与对应真实高分辨率图像间的平均L1误差，表达式为：

式中，L(Θ)表示损失函数。

在一种实施方式中，多尺度残差模块包括若干个级联的高阶跨尺度注意力组、一个特征融合模块以及一个全局残差加法器，S3包括：

S31.通过若干个级联的高阶跨尺度注意力组对浅层特征进行分析，得到不同深度的残差特征；

S32.通过特征融合模块对残差特征进行融合，得到对应的融合特征；

S33.通过全局残差加法器将浅层特征和融合特征进行相加，得到对应的深层特征。

具体地，多尺度残差模块的处理流程包括：将浅层特征F

L

其中，L

在一种实施方式中，高阶跨尺度注意力组包括一个密集特征融合模块、若干个级联的残差嵌套模块以及一个高阶跨尺度注意力模块，S31包括：

通过密集特征融合模块对获取到的特征进行融合；

通过若干个级联的残差嵌套模块从融合后的特征中获取不同深度的残差特征，并通过高阶跨尺度注意力模块进行局部残差学习。

在一种实施方式中，高阶跨尺度注意力模块包括多尺度特征提取子网络、跨尺度注意力生成子网络、尺度内注意力生成子网络以及多尺度特性调整与融合子网络；通过高阶跨尺度注意力模块进行局部残差学习的步骤包括：

通过多尺度特征提取子网络对最后一个残差嵌套模块输出的特征进行提取，获取若干个多尺度特征；

通过跨尺度注意力生成子网络分析多尺度特征的跨尺度注意力权重；

通过尺度内注意力生成子网络分析多尺度特征的尺度内注意力权重；

通过多尺度特性调整与融合子网络将每一个多尺度特征与其对应的跨尺度注意力权重和尺度内注意力权重相乘，并由Concat层拼接后，输入n×n卷积层进行特征融合。

为了更好地说明本发明的有效性，本发明实施例还采用对比实验的方式进行重建效果的比较。

具体地，本发明实施例使用DIV2K中800幅高分辨率图像作为训练集，测试集分别使用Set5，Set14，B100，Urban100，Manga109。对原始高分辨率图像进行双三次下采样，得到相应的低分辨率图像。

当构建好训练集后，可以在pytorch框架上进行模型的训练和测试。将训练集中低分辨率图像裁剪成48×48的图像块，每次随机输入16个48×48的图像块组。使用Adam梯度下降法实现网络参数Θ的优化，其中Adam优化器的参数设置为β

本发明使用Set5，Set14，B100，Urban100，Manga109五个数据集来测试模型性能，对比实验选取了双三次插值Bicubic和11个具有代表性的图像超分辨率重建方法与本发明的实验结果进行比较，实验结果如表1所示，其中HOCSANet为本发明提出的方法。11个具有代表性的图像超分辨率重建方法包括：

LapSRN：Lai等人提出的方法，参考文献“W.S.Lai,J.B.Huang,N.Ahuja,andM.H.Yang,Deep laplacian pyramid networks for fast and accurate super-resolution,in:Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2017,pp.624-632.”。

EDSR：Lim等人提出的方法，参考文献“B.Lim,S.Son,H.Kim,S.Nah,and K.M.Lee,Enhanced deep residual networks for single image super-resolution,in:CVPRW,2017,pp.136-144.”。

MemNet：Tai等人提出的方法，参考文献“Y.Tai,J.Yang,X.Liu,and C.Xu,Memnet:A persistent memory network for image restoration,in:Proc.IEEEConf.Comput.Vis.Pattern Recognit.,2017,pp.4539-4547.”。

RDN：Zhang等人提出的方法，参考文献“Y.Zhang,Y.Tian,Y.Kong,B.Zhong,andY.Fu,Residual dense network for image super-resolution,in:Proc.IEEEConf.Comput.Vis.Pattern Recognit.,2018,pp.2472-2481.”。

DBPN：Haris等人提出的方法，参考文献“M.Haris,G.Shakhnarovich,andN.Ukita,Deep back-projection networks for super-resolution,in:Proc.IEEEConf.Comput.Vis.Pattern Recognit.,2018,pp.1664-1673.”。

NLRN：Liu等人提出的方法，参考文献“D.Liu,B.Wen,Y.Fan,C.C.Loy,andT.S.Huang,Non-local recurrent network for image restoration,in:NeurIPS,2018,pp.1673-1682.”。

RCAN：Zhang等人提出的方法，参考文献“Y.Zhang,K.Li,K.Li,L.Wang,B.Zhong,and Y.Fu,Image super-resolution using very deep residual channel attentionnetworks,in:Proc.Eur.Conf.Comp.Vis.,2018,pp.286-301.”。

SRFBN：Li等人提出的方法，参考文献“Z.Li,J.Yang,Z.Liu,X.Yang,G.Jeon,andW.Wu,Feedback network for image super-resolution,in:Proc.IEEEConf.Comput.Vis.Pattern Recognit.,2019,pp.3867-3876.”。

OISR：He等人提出的方法，参考文献“X.He,Z.Mo,P.Wang,Y.Liu,M.Yang,andJ.Cheng,ODE-inspired network design for single image super-resolution,in:Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2019,pp.1732-1741.”。

SAN：Dai等人提出的方法，参考文献“T.Dai,J.Cai,Y.Zhang,S.T.Xia,andL.Zhang,Second-order attention network for single image super-resolution,in:Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2019,pp.11065-11074.”。

CSNLN：Mei等人提出的方法，参考文献“Y.Mei,Y.Fan,Y.Zhou,L.Huang,T.S.Huang,and H.Shi,Image super-resolution with cross-scale non-localattention and exhaustive self-exemplars mining,in:Proc.IEEEConf.Comput.Vis.Pattern Recognit.,2020,pp.5690-5699.”。

从表1可以看出(最优的值和排名第二优的值分别用黑色加粗和下划线表示)，在大多数情况下，本发明的PSNR和SSIM是最高的，重建效果显著优于目前具有代表性的一些图像超分辨率重建方法。

表1在5个测试集上的平均PSNR和SSIM值比较

综上所述，本发明实施例提供了一种基于跨尺度注意力网络的图像超分辨率重建模型及方法，通过构建的图像超分辨率重建模型学习多尺度特征在跨尺度及尺度内的通道相关性，并根据相关性调整注意力权重，实现多尺度特征的自适应调整，从而提高网络对特征的辨析学习能力，进而提高了图像超分辨率重建质量。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。