图像超分辨率模型训练方法和图像重建方法

摘要

本发明实施例提供一种图像超分辨率模型训练方法和图像重建方法，该方法包括：获取第一图像以及对第一图像进行分辨率降低处理后得到的第二图像；通过超分辨率模型对第二图像进行重建，以得到第三图像；其中，第三图像的分辨率和第二图像的分辨率匹配；通过与具有目标子像素排列结构的显示屏相对应的子像素排列模拟器，对第三图像进行向显示屏的像素映射处理，以得到第四图像；根据第四图像和第一图像，确定感知损失函数；根据感知损失函数，对超分辨率模型进行模型训练。应用本方案的模型训练方法训练得到的超分辨率模型，对图像进行重建，在具有目标子像素排列结构的显示屏上显示时，有更好的清晰度和纹理质感，能够提升图像的视觉效果。

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像超分辨率模型训练方法和图像重建方法。

背景技术

在大量的电子图像应用领域中，比如：图片展示、影像显示等，人们通常会期望看到的图片或者视频等图像素材中，可以包含有更多的细节，观看者能够从中获取到更多的信息，或者有更好的视觉体验。

目前，为了实现上述图像显示效果，一般的做法是提升图像的分辨率。但是，并不是所有的图像在提升图像分辨率后，在显示屏上显示时都具有更好的显示效果。因此，图像在进行显示时，如何使图像高度适应显示屏的自身参数，有更好的清晰度和纹理质感，提升图像的视觉效果，成为了亟待解决的问题。

发明内容

本发明实施例提供一种图像超分辨率模型训练方法和图像重建方法，用以提升图像在显示时的视觉效果，使得图像显示有更好的清晰度和纹理质感。

第一方面，本发明实施例提供一种图像超分辨率模型训练方法，所述方法包括：

获取第一图像以及对所述第一图像进行分辨率降低处理后得到的第二图像；

通过超分辨率模型对所述第二图像进行重建，以得到第三图像；其中，所述第三图像的分辨率和所述第二图像的分辨率匹配；

通过与具有目标子像素排列结构的显示屏相对应的子像素排列模拟器，对所述第三图像进行向所述显示屏的像素映射处理，以得到第四图像；

根据所述第四图像和所述第一图像，确定感知损失函数；

根据所述感知损失函数，对所述超分辨率模型进行模型训练。

第二方面，本发明实施例提供一种图像重建方法，所述方法包括：

获取第一目标图像，以及所述第一目标图像对应的目标显示屏的参数信息；

确定与所述目标显示屏的参数信息对应的超分辨率模型；

通过所述超分辨率模型对所述第一目标图像进行重建，以得到第二目标图像；其中，所述第一目标图像的分辨率与所述第二目标图像的分辨率匹配；所述超分辨率模型是采用第一方面所述的图像超分辨率模型训练方法训练得到的；

在所述目标显示屏中显示所述第二目标图像。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如第一方面所述的图像超分辨率模型训练方法。

第四方面，本发明实施例提供一种电子设备，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如第二方面所述的图像重建方法。

在本发明实施例提供的技术方案，具有如下优点：

1、本发明实施例提供了一种图像超分辨率模型训练方法，首先，获取第一图像以及对第一图像进行分辨率降低处理后得到的第二图像；然后，通过超分辨率模型对第二图像进行重建，以得到第三图像；其中，第三图像的分辨率和第二图像的分辨率匹配；接着，通过与具有目标子像素排列结构的显示屏相对应的子像素排列模拟器，对第三图像进行向显示屏的像素映射处理，以得到第四图像；最后，根据第四图像和第一图像，确定感知损失函数；根据感知损失函数，对超分辨率模型进行模型训练。在上述图像超分辨率模型训练过程中，引入了与具有目标子像素排列结构的显示屏相对应的子像素排列模拟器，根据子像素排列模拟器处理得到的第四图像和第一图像进行对比，确定感知损失函数，进而训练图像超分辨率模型，由此，训练得到的超分辨率模型与具有目标子像素排列结构的显示屏有更高的匹配度和针对性。

2、本发明实施例提供了一种图像重建方法，首先，获取第一目标图像以及第一目标图像对应的目标显示屏的参数信息；确定与目标显示屏的参数信息对应的超分辨率模型；通过超分辨率模型对第一目标图像进行重建，以得到第二目标图像；其中，第一目标图像的分辨率与第二目标图像的分辨率匹配；超分辨率模型是采用第一方面所述的图像超分辨率模型训练方法训练得到的；在目标显示屏中显示第二目标图像。基于本发明实施例提供的方案，图像经过上述图像重建方法处理后，在目标显示屏上进行显示时，能够高度适应显示屏的自身参数，有更好的清晰度和纹理质感，提升图像的视觉效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像超分辨率模型训练方法的流程图；

图2为显示屏的子像素排列结构的示意图；

图3为本发明实施例提供的一种图像超分辨率模型训练方法的示意图；

图4为本发明实施例中目标子像素排列结构为RGB结构时的像素映射处理示意图；

图5为本发明实施例中目标子像素排列结构为RGBW结构时的像素映射处理示意图；

图6为本发明实施例提供的一种图像重建方法的流程图；

图7为本发明实施例提供的一种图像重建方法的示意图；

图8为本发明实施例提供的一种图像超分辨率模型训练装置的结构示意图；

图9为与图8所示实施例提供的图像超分辨率模型训练装置对应的电子设备结构示意图；

图10为本发明实施例提供的一种图像重建装置的结构示意图；

图11为与图10所示实施例提供的图像重建装置对应的电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

本发明实施例提供的图像超分辨率模型训练方法，可以由一电子设备来执行，该电子设备可以是诸如PC机、笔记本电脑、智能手机等终端设备，也可以是服务器。该服务器可以是包含一独立主机的物理服务器，或者也可以为虚拟服务器，或者也可以为云端服务器或服务器集群。

图1为本发明实施例提供的一种图像超分辨率模型训练方法的流程图，如图1所示，可以包括如下步骤：

101、获取第一图像以及对第一图像进行分辨率降低处理后得到的第二图像。

102、通过超分辨率模型对第二图像进行重建，以得到第三图像；其中，第三图像的分辨率和第二图像的分辨率匹配。

103、通过与具有目标子像素排列结构的显示屏相对应的子像素排列模拟器，对第三图像进行向显示屏的像素映射处理，以得到第四图像。

104、根据第四图像和所述第一图像，确定感知损失函数。

105、根据感知损失函数，对超分辨率模型进行模型训练。

本实施例中，上述图像超分辨率模型训练方法的目的在于：得到与具有某种子像素排列结构的显示屏相匹配的图像超分辨率模型。

目前，市面上存在多种显示屏，比如：液晶显示屏(Liquid Crystal Display，简称LCD)，LED显示屏，OLED显示屏，microLED显示屏，投影仪等光栅显示设备，在这些显示屏中，每种显示屏的像素都有对应的子像素排列结构。

其中，可以理解的是，通过显示屏对图像进行显示时，显示屏上最小的发光单位是像素，但是，实际上将每个像素放大后，可以发现一个像素是由多种颜色组成的，比如：红色、绿色和蓝色，每种颜色叫做一个子像素，代表一个颜色通道，组成一个像素的各种颜色的排列顺序和位置存在多种组合情况，对应的组成一个像素的多个子像素可以有多种不同的排列方式，也即有多种子像素排列结构。图2示例了常见的几种显示屏的子像素排列结构，比如：红绿蓝(Red Green Blue，简称RGB)、红绿蓝白(Red Green Blue White，简称RGBW)、红绿蓝绿(Red Green Blue Green，简称RGBG)。图像在显示屏上进行显示时，可以通过调节各个子像素代表的颜色通道的数值，使得通过显示屏显示的图像更接近图像本身的实际颜色。

为便于理解图1中所示的图像超分辨率模型训练方法，图3提供了本发明实施例的图像超分辨率模型训练方法示意图。结合图3对图1中所示的图像超分辨率模型训练方法进行说明。

在本发明实施例提供的图像超分辨率模型训练方法中，先获取第一图像以及对第一图像进行分辨率降低处理后得到的第二图像。在实际训练过程中，第一图像可以是各种格式的自然图片，比如：GIF、JPG、JPEG、PNG、TIF等，也可以是各种格式的视频的图像序列，即视频帧，在本发明的实施例中并不以此为限。

获取第一图像后，可以通过轻微的模糊处理、缩小处理或添加噪声等方式，将第一图像的分辨率进行降低处理，得到的处理后的图像为第二图像，其中，第二图像的分辨率可以在某一预设的分辨率区间内，比如：分辨率在区间[720p,8k]内，其中，720p表示分辨率为1280*720，8K表示分辨率为7680*4320。可以理解的是，在实际的应用过程中，该预设的分辨率区间可以包括具有某种子像素排列结构的显示屏，常见的几种分辨率，比如：1080p(1920*1080)，2k(2048*1080)，4k(3840*2160)等。

如图3所示，第二图像作为需要进行训练的图像超分辨率模型的输入，经过超分辨率模型进行第二图像重建后，输出第三图像，其中，第三图像的分辨率和第二图像的分辨率匹配。在具体实施过程中，第三图像的分辨率和第二图像的分辨率匹配，包括：第三图像的分辨率是第二图像的分辨率的预设倍数，该预设倍数大于等于1，对于预设倍数设置不同的取值是为了训练不同的超分辨率模型SR。举例来说，当想要训练超分辨率模型SR1时，预设倍数的取值为1，第三图像的分辨率是第二图像的分辨率的1倍，即第三图像与第二图像的分辨率相同；当想要训练超分辨率模型SRn时，预设倍数的取值为n，第三图像的分辨率是第二图像的分辨率的n倍，其中，n大于1，在实际应用中，n可以是2，3，4等；n为2时，训练得到的超分辨率模型为SR2，n为3时，训练得到的超分辨率模型为SR3，以此类推。训练不同的超分辨率模型，是为了在不同的情形下，能够选择与显示屏相匹配的超分辨率模型，使得图像在显示屏上显示时，更好的适应显示屏的自身参数，有更好的图像显示效果。实际应用中，上述超分辨率模型可以是神经网络模型，比如：卷积神经网络模型，当然，不以此为限。

得到第三图像后，通过与具有目标子像素排列结构的显示屏相对应的子像素排列模拟器，对第三图像进行向显示屏的像素映射处理，以得到第四图像。

其中，上述子像素排列模型器能够根据显示屏具有的目标子像素排列结构，对第三图像中的像素进行模拟排列，也即对第三图像进行向显示屏的像素映射处理。针对不同的目标子像素排列结构，可以有对应的不同的子像素排列模拟器。子像素排列模拟器可以通过卷积(convolutional)和像素重组(pixelshuffle)来对第三图像中的像素进行模拟排列，其中，在通过卷积对第三图像做特征提取时，不带偏移bias，其他参数设置为常量，根据不同的目标子像素排列结构设置不同的常量数值，比如：当子像素排列模拟器对应的目标子像素排列结构为图2所示的RGB时，在通过卷积做特征提取处理时，输入通道in channel设置为3，权重矩阵kernel设置为1，步长stride设置为1，填充padding设置为0，如果有一张分辨率大小为224*224的第三图像输入此子像素排列模拟器，对于通道个数为3的分辨率大小为224*224的第三图像，经过卷积提取特征后，得到通道个数为27的大小为224*224的特征图像，该特征图像再经过像素重组后得到通道个数为3的大小为672*672的第四图像，也即分辨率大小为672*672，子像素排列结构为RGB的第四图像。

如果将组成某一图像的多个像素看做一个像素矩阵，通过上述子像素排列模拟器，对第三图像进行向显示屏的像素映射处理时，具体地，可以根据目标子像素排列结构，确定与第三图像中的目标像素对应的像素矩阵，该像素矩阵由多个像素构成，目标像素是所述第三图像中的任一个像素；根据目标像素中各子像素的取值，确定所述像素矩阵中各个像素的像素值。

为了便于理解，举例来说，当目标子像素排列结构为RGB结构时，如图4所示，根据目标像素的RGB取值，确定与第三图像中的任意一个像素(即目标像素)对应的第一像素矩阵。根据前述的子像素排列模拟器，对第三图像中的目标像素进行卷积和像素重组后，得到第一像素矩阵以及第一像素矩阵中对应的各像素的取值，如图4所示，在实际应用中，考虑到目标像素的形状和像素矩阵的形状的一致性，第一像素矩阵由3*3个像素构成。由于每个像素的像素值，可以由像素中各个子像素的取值组成的数组来表示，所以，可以用数组表示目标像素，比如：(255，0，255)，该数组表示子像素R的取值为255，子像素G的取值为0，子像素B的取值为255，对应的确定第一像素矩阵中各像素的取值，参照图4，第一列的3个像素的取值均为(255，0，0)，第二列的3个像素的取值均为(0，0，0)，第三列的3个像素的取值均为(0，0，255)，同一列的像素的取值相同。

图5示例的是另一种目标子像素排列结构，该结构为RGBW结构，如图5所示，根据目标像素的RGBW取值，确定与第三图像中的目标像素对应的第二像素矩阵。根据前述的子像素排列模拟器，对第三图像中的目标像素进行卷积和像素重组后，得到第二像素矩阵以及第二像素矩阵中对应的各像素的取值，如图5所示，考虑到目标像素的形状和像素矩阵的形状的一致性，第二像素矩阵由2*2个像素构成。用数组表示该目标像素中子像素RGB的取值，比如：(255，0，255)，该数组表示子像素R的取值为255，子像素G的取值为0，子像素B的取值为255，在子像素排列结构为RGBW的目标像素中，子像素W的取值是根据子像素R、G、B的值计算得到的，不同的显示屏厂商根据不同的显示需求，对子像素W的计算方式的设计也有所不同，在图5中，假设根据子像素R、G、B的值计算得到的子像素W的值为n。对应的第二像素矩阵中各像素的取值，参照图5，第一行第一列的像素的取值为(255，0，0)，第一行第二列的像素的取值为(0，0，0)，第二行第一列的像素的取值为(0，0，255)，第二行第二列的像素的取值为(a，b，c)，其中，a，b，c分别是依据第二像素矩阵中其他三个像素R(RGB),G(RGB),B(RGB)中的子像素R、G、B的取值根据显示屏厂商的设置计算得到的，与上述目标像素中子像素W的取值n的计算方式相同。

图4和图5示例了一个目标像素通过子像素排列模拟器向显示屏的像素映射处理的过程，实际上，第三图像在经过子像素排列模拟器后，第三图像中的所有像素均通过上述方法进行了映射处理，第四图像是所有经过映射处理的目标像素对应的像素矩阵组合得到的。

图4和图5中示意的情形，仅为示例性说明，在实际应用中，通过上述子像素排列模拟器，对第三图像进行向显示屏的像素映射处理时，也可根据其它目标子像素排列结构确定与第三图像的目标像素对应的像素矩阵，不以上述两种情形为限制。

得到第四图像后，根据第四图像和第一图像，确定感知损失函数，根据感知损失函数，对图像超分辨率模型进行训练。在具体实施过程中，可以通过感知损失函数，计算第四图像和第一图像的感知损失(Perceptual loss),根据感知损失的值，对图像超分辨率模型进行训练。通过在图像超分辨率模型的训练过程中使用具有目标子像素排列结构的显示屏相对应的子像素排列模拟器，使得最终训练得到的图像超分辨率模型能够与具有目标子像素排列结构的显示屏相匹配。

为了便于理解，对上述超分辨率模型的训练过程进行举例说明。假设当前显示屏对应的目标子像素排列结构为RGB，当前获取的第一图像的分辨率为8k(7680*4320)，在对第一图像进行分辨率降低处理时，预设的分辨率区间为[720p,4k],那么通过分辨率降低处理得到的第二图像的分辨可以为720p，1080p，4k等。当想要训练得到与具有RGB子像素排列结构的显示屏相对应的超分辨率模型RGB-SR1时，第三图像的分辨率与第二图像的分辨率之间的预设倍数为1，对于任意一个经过分辨率降低处理后得到的，在区间[720p,4k]内分辨率为S的第二图像，经过图像超分辨模型重建后，得到分辨率也为S的第三图像，经过与具有RGB子像素排列结构的显示屏相对应的子像素排列模拟器对第三图像向显示屏的像素映射处理后，得到分辨率为3S的第四图像，计算第四图像和第一图像的感知损失,根据感知损失的值，训练得到超分辨率模型RGB-SR1。当想要训练得到与具有RGB子像素排列结构的显示屏相对应的超分辨率模型RGB-SR2时，第三图像的分辨率与第二图像的分辨率之间的预设倍数为2，对于任意一个在区间[720p,4k]内分辨率为S的第二图像，经过图像超分辨模型重建后，得到分辨率为2S的第三图像，经过与具有RGB子像素排列结构的显示屏相对应的子像素排列模拟器对第三图像向显示屏的像素映射处理后，得到分辨率为6S的第四图像，计算第四图像和第一图像的感知损失,根据感知损失的值，训练得到超分辨率模型RGB-SR2。同样的，可以训练得到RGB-SR3，RGB-SR4等。

在另一种情况下，假设当前显示屏对应的目标子像素排列结构为RGBW，当前获取的第一图像的分辨率为8k(7680*4320)，在对第一图像进行分辨率降低处理时，预设的分辨率区间为[720p,4k],那么通过分辨率降低处理得到的第二图像的分辨可以为720p，1080p，4k等。当想要训练得到与具有RGBW子像素排列结构的显示屏相对应的超分辨率模型RGBW-SR1时，第三图像的分辨率与第二图像的分辨率之间的预设倍数为1，对于任意一个经过分辨率降低处理后得到的，在区间[720p,4k]内分辨率为S的第二图像，经过图像超分辨模型重建后，得到分辨率也为S的第三图像，经过与具有RGBW子像素排列结构的显示屏相对应的子像素排列模拟器对第三图像向显示屏的像素映射处理后，得到分辨率为2S的第四图像，计算第四图像和第一图像的感知损失,根据感知损失的值，训练得到超分辨率模型RGBW-SR1。当想要训练得到与具有RGBW子像素排列结构的显示屏相对应的超分辨率模型RGBW-SR2时，第三图像的分辨率与第二图像的分辨率之间的预设倍数为2，对于任意一个在区间[720p,4k]内分辨率为S的第二图像，经过图像超分辨模型重建后，得到分辨率为2S的第三图像，经过与具有RGB子像素排列结构的显示屏相对应的子像素排列模拟器对第三图像向显示屏的像素映射处理后，得到的分辨率为4S第四图像，计算第四图像和第一图像的感知损失,根据感知损失的值，训练得到超分辨率模型RGBW-SR2。同样的，可以训练得到RGBW-SR3，RGBW-SR4等。

上述的目标子象素排列结构和预设倍数的数值只是为了示例性说明，在本发明的实施例中并不以此为限，在实际应用中，可以训练与多种目标子像素相匹配的图像超分辨率模型SRn，其中，n大于或等于1。

上述实施例提供了一种图像超分辨率模型训练方法，首先，获取第一图像以及对第一图像进行分辨率降低处理后得到的第二图像；然后，通过超分辨率模型对第二图像进行重建，以得到第三图像；其中，第三图像的分辨率和第二图像的分辨率匹配，第三图像的分辨率是第二图像的分辨率的预设倍数，该预设倍数大于或等于1；接着，通过与具有目标子像素排列结构的显示屏相对应的子像素排列模拟器，对第三图像进行向显示屏的像素映射处理，以得到第四图像；最后，根据第四图像和第一图像，确定感知损失函数；根据感知损失函数，对超分辨率模型进行模型训练。在上述图像超分辨率模型训练过程中，引入了与具有目标子像素排列结构的显示屏相对应的子像素排列模拟器，根据子像素排列模拟器处理得到的第四图像和第一图像进行对比，确定感知损失函数，进而训练图像超分辨率模型，由此，训练得到的超分辨率模型与具有目标子像素排列结构的显示屏有更高的匹配度和针对性，通过调整上述预设倍数的取值可以训练不同的、与具有目标子像素排列结构的显示屏相对应的超分辨模型，增加了在进行图像重建时，超分辨率模型的可选择性。

在图像超分变率模型训练完成后，可以应用于具有目标子像素排列结构的显示屏的图像显示过程中，对需要通过显示屏显示的图像进行图像重建，并将重建结果显示在显示屏上。

图6为本发明实施例提供的一种图像重建方法的流程图，其中，图像重建时采用的超分辨率模型是通过上述图像超分辨率模型训练方法训练得到的，如图6所示，可以包括如下步骤：

601、获取第一目标图像，以及第一目标图像对应的目标显示屏的参数信息。

602、确定与目标显示屏的参数信息对应的超分辨率模型。

603、通过超分辨率模型对第一目标图像进行重建，以得到第二目标图像；其中，第一目标图像的分辨率与第二目标图像的分辨率匹配。

604、在目标显示屏中显示第二目标图像。

其中，目标显示屏的参数信息包括目标显示屏的子像素排列结构和分辨率。

本实施例在具体实施过程中，第一目标图像为需要在目标显示屏上进行显示的自然图像或视频等图像资源，在进行模型选择时，根据目标显示屏的子像素排列结构和目标显示屏的分辨率与第一目标图像的分辨率的比值选择对应的图像超分辨率模型。

为便于理解图6中所示的图像重建方法，图7提供了本发明实施例的一种图像重建方法示意图。结合图7对图6中所示的图像重建方法进行说明。

训练好的图像超分辨率模型在进行图像重建时，一种可实现的方式是，作为软件安装在具有计算处理能力的电子设备上，比如：PC机、笔记本电脑、智能手机等终端设备，也可以是服务器。该服务器可以是包含一独立主机的物理服务器，或者也可以为虚拟服务器，或者也可以为云端服务器或服务器集群。

假设上述软件安装在了服务器上，利用训练好的超分辨率模型对第一目标图像进行图像重建，并在目标显示屏上显示第二目标图像的处理过程如下：

首先，服务器获取第一目标图像，以及第一目标图像对应的目标显示屏的子像素排列结构和分辨率，计算目标显示屏的分辨率与第一目标图像的分辨率的比值；然后，服务器根据目标显示屏的子像素排列结构，以及目标显示屏的分辨率与第一目标图像的分辨率的比值，从服务器中预先存储的超分辨率模型中筛选出与上述分辨率比值和子像素排列结构相对应的超分辨率模型；在筛选出超分辨率模型后，服务器将获取到的第一目标图像通过超分辨率模型进行重建，得到第二目标图像；最后，服务器将得到的第二目标图像传输给目标显示屏，以使目标显示屏显示第二目标图像。

为了便于理解，举例来说，假设服务器获取的第一目标图像的分辨率为1920*1080，目标显示屏的子像素排列结构为RGB，分辨率为3840*2160；由于目标显示屏的子像素排列结构为RGB，目标显示屏的分辨率与第一目标图像的分辨率的比值为2，所以服务器可以从预先储存的超分辨率模型中筛选出超分辨率模型RGB-SR2；筛选出RGB-SR2后，服务器将获取到的第一目标图像输入给RGB-SR2进行图像重建，重建后得到的第二目标图像的分辨率为3840*2160，第二目标图像的分辨率是第一目标图像分辨率的2倍，第二目标图像与目标显示屏的子像素排列结构和分辨率高度匹配。

但是，可以理解的是，在实际的图像重建时，目标显示屏的分辨率与第一目标图像的分辨率的比值可能存在多种情况，而服务器中可能只预先存储了几种使用概率较高的几种分辨率比值对应的超分辨率模型，比如：RGB-SR1，RGB-SR2，RGB-SR3等。在这种情形下，为了使重建后的图像与目标显示屏的子像素排列结构和分辨率高度匹配，一种可实现的方式是，选择模型RGB-SR1，为了使第一目标图像在经过RGB-SR1进行图像重建后有更好的显示效果，可以将第一目标图像进行平滑的缩小或放大处理，得到与目标显示屏分辨率匹配的第三目标图像，将第三目标图像通过RGB-SR1进行重建，得到第二目标图像，并传输给目标显示屏进行显示。

举例来说，假设第一目标图像的分辨率为2560*1440，目标显示屏的子像素排列结构为RGB，分辨率为3840*2160，计算得到目标显示屏的分辨率与第一目标图像的分辨率的比值为1.5，由于服务器中并没有预先存储超分辨率模型RGB-SR1.5，在这种情形下，服务器可以选择通过RGB-SR1进行图像重建：服务器先将第一目标图像进行平滑的放大处理，得到与目标显示屏分辨率匹配的第三目标图像，其中第三目标图像的分辨率为3840*2160，将第三目标图像通过RGB-SR1进行重建，得到分辨率为3840*2160的第二目标图像，第二目标图像的分辨率与第三目标图像的分辨率相同，第二目标图像与目标显示屏的子像素排列结构和分辨率高度匹配。

在上述实施例中，由于一台服务器可能连接有多台目标显示器，因此，在进行图像重建时，需要获取目标显示器的子像素排列结构，根据该子像素排列结构以及目标显示屏的分辨率与第一目标图像的分辨率的比值，确定对应的超分辨率模型。上述的例子，仅对在子像素排列结构为RBG的目标显示屏上进行图像显示时，服务器进行图像重建的过程进行了示例性说明，实际上，目标显示屏的子像素排列结构存在多种情况，服务器中也可以存储多种子像素排列结构的显示屏对应的超分辨率模型，并不以上述示例中的情形为限。

训练好的图像超分辨率模型在进行图像重建时，另一种可实现的方式是，作为硬件集成在屏幕固件中。可以理解的是，集成在屏幕固件中的超分辨模型是与显示屏的子像素排列结构相匹配的，比如说，若显示屏的子像素排列结构为RGB，那么集成在屏幕固件中的超分辨模型就是RGB-SR，其中，RGB-SR包括RGB-SR1，RGB-SR2，RGB-SR3等使用概率较高的超分辨率模型。对于安装有上述屏幕固件的显示屏，在获取到第一目标图像后，先计算得到目标显示屏的分辨率与第一目标图像的分辨率的比值，再根据分辨率比值选择对应的超分辨率模型，然后，通过选择的超分辨率模型对第一目标图像进行图像重建，得到第二目标图像；最后，将第二目标图像显示在显示屏上。其中，选择超分辨率模型并进行图像重建的过程与上述服务器的处理过程类似，此处不再赘述。

上述实施例提供了一种图像重建方法，首先，获取第一目标图像，第一目标图像的分辨率，以及第一目标图像对应的目标显示屏的参数信息；确定与目标显示屏的参数信息对应的超分辨率模型；通过超分辨率模型对第一目标图像进行重建，以得到第二目标图像；其中，第一目标图像的分辨率与第二目标图像的分辨率匹配；超分辨率模型是采用第一方面所述的图像超分辨率模型训练方法训练得到的；在目标显示屏中显示第二目标图像。基于本发明实施例提供的方案，图像经过上述图像重建方法处理后，在目标显示屏上进行显示时，能够高度适应显示屏自身参数，与目标显示屏对应的子像素排列结构和分辨率匹配，有更好的清晰度和纹理质感，提升图像的视觉效果。

以下将详细描述本发明的一个或多个实施例的图像超分辨率模型训练装置和图像重建装置。本领域技术人员可以理解，这些装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。

图8为本发明实施例提供的一种图像超分辨率模型训练装置的结构示意图，如图8所示，该装置包括：获取模块11、处理模块12。

获取模块11，用于获取第一图像以及对第一图像进行分辨率降低处理后得到的第二图像。

处理模块12，用于通过超分辨率模型对所述第二图像进行重建，以得到第三图像；其中，所述第三图像的分辨率和所述第二图像的分辨率匹配；通过与具有目标子像素排列结构的显示屏相对应的子像素排列模拟器，对所述第三图像进行向所述显示屏的像素映射处理，以得到第四图像；根据所述第四图像和所述第一图像，确定感知损失函数；根据所述感知损失函数，对所述超分辨率模型进行模型训练。

可选地，所述处理模块12用于：根据所述目标子像素排列结构，确定与所述第三图像中的目标像素对应的像素矩阵，所述像素矩阵由多个像素构成，所述目标像素是所述第三图像中的任一个像素；根据所述目标像素中各子像素的取值，确定所述像素矩阵中各个像素的像素值。

可选地，目标子像素排列结构为RGB结构，所述处理模块12具体用于：根据所述目标子像素排列结构，确定与所述第三图像中的目标像素对应的第一像素矩阵，所述第一像素矩阵由3*3个像素构成；分别根据所述目标像素中R、G、B三个子像素的取值，确定所述第一像素矩阵中各列像素的像素值，其中，同一列像素的像素值相同。

可选地，目标子像素排列结构为RGBW结构，所述处理模块12具体用于：根据所述目标子像素排列结构，确定与所述第三图像中的目标像素对应的第二像素矩阵，所述第二像素矩阵由2*2个像素构成；分别根据所述目标像素中R、G、B、W四个子像素的取值，确定所述第二像素矩阵中各个像素的像素值。

图8所示装置可以执行前述实施例中图像超分辨率模型训练方法，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。

在一个可能的设计中，上述图8所示的图像超分辨率模型训练装置的结构可实现为一电子设备，如图9所示，该计算设备可以包括：存储器21、处理器22、通信接口23。其中，存储器21上存储有可执行代码，当所述可执行代码被处理器22执行时，使处理器22至少可以实现如前述实施例中提供的图像超分辨率模型训练方法。

图10为本发明实施例提供的一种图像重建装置的结构示意图，如图10所示，该装置包括：获取模块31、处理模块32。

获取模块31，用于获取第一目标图像，以及所述第一目标图像对应的目标显示屏的参数信息。

处理模块32，用于确定与所述目标显示屏的参数信息对应的超分辨率模型；通过所述超分辨率模型对所述第一目标图像进行重建，以得到第二目标图像；其中，所述第一目标图像的分辨率与所述第二目标图像的分辨率匹配；所述超分辨率模型是采用上述图像超分辨率模型训练方法训练得到的；在所述目标显示屏中显示所述第二目标图像。

其中，可选地，所述参数信息包括所述目标显示屏的子像素排列结构和分辨率。

具体地，处理模块32，用于确定所述目标显示屏的分辨率与所述第一目标图像的分辨率的比值；确定与所述比值和所述子像素排列结构对应的超分辨率模型；通过所述超分辨率模型对所述第一目标图像进行重建，以得到第二目标图像；其中，所述第一目标图像的分辨率与所述第二目标图像的分辨率匹配；所述超分辨率模型是采用上述图像超分辨率模型训练方法训练得到的；在所述目标显示屏中显示所述第二目标图像。

图10所示装置可以执行前述实施例中介绍图像重建方法，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。

在一个可能的设计中，上述图10所示图像识别装置的结构可实现为一电子设备，如图11所示，该电子设备可以包括：存储器41、处理器42、通信接口43。其中，存储器41上存储有可执行代码，当所述可执行代码被处理器42执行时，使处理器42至少可以实现如前述实施例中提供的图像重建方法。

另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述实施例中提供的图像超分辨率模型训练方法，或图像重建方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。