基于图像的天空区域分割和特效处理方法、装置及设备

摘要

本申请实施例提供了一种基于图像的天空区域分割及特效处理方法、装置及设备，涉及图像处理领域，该方法通过获取包含天空内容特征的原始图像，将原始图像输入到天空分割网络进行语义分割处理，利用天空分割网络的编码器模块的第一卷积单元提取原始图像的具有不同感受野的第一图像特征，将第一图像特征输入到天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的原始图像的分辨率一致的第一特征图像，并得到原始图像对应的概率图像，根据概率图像对原始图像的天空区域进行分割，其中，天空分割网络为部署在客户端。本技术方案实现了在客户端上对图像中的天空区域进行精准分割，性能稳定，处理速度快，提高图像的展示效果。

说明书

技术领域

本申请涉及图像处理领域，具体而言，本申请涉及一种基于图像的天空区域分割和特效处理方法、装置及设备，还包括一种计算机可读存储介质。

背景技术

随着人工智能尤其是深度学习的快速发展，语义分割已经成为一个具有广泛应用场景的重要研究课题。天空分割是指将图像中的天空区域分割出来，然后通过相关后处理实现天气变换，如晴天、雨天和晚霞等，添加特效，如烟花、流光和极光等功能。

在相关技术中，一般采用基于深度学习的语义分割技术，通过将图像输入到深度学习网络结构或卷积神经网络中进行训练，得到天空分割模型，通过天空分割模型进行特征提取、分割、检测和识别等处理。然而，目前的天空分割模型，要么占用内存较大，只能在云端实现，无法部署在用户终端上实时运行。即便有些天空分割模型运行在用户终端，但分割不准确，使得分割效果差，影响用户的使用体验。

发明内容

本申请的目的旨在至少解决上述技术缺陷之一，特别是运算量大或分割精度低的问题。

第一方面，本申请实施例提供了一种基于图像的天空区域分割方法，包括以下步骤：

获取包含天空内容特征的原始图像；

将原始图像输入天空分割网络，对所述原始图像进行语义分割处理，利用所述天空分割网络的编码器模块的第一卷积单元提取所述原始图像的具有不同感受野的第一图像特征，将所述第一图像特征输入到所述天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的所述原始图像的分辨率一致的第一特征图像，并根据所述第一特征图像得到所述原始图像对应的概率图像；其中所述天空分割网络为轻量级深度卷积神经网络，并通过对所述解码器模块的至少两层的第二卷积单元输出的第二特征图像利用与所述第二特征图像的分辨率相对应的损失函数进行训练得到；

根据所述概率图像对所述原始图像的天空区域进行分割。

在其中一个实施例中，所述编码器模块包括多层第一卷积单元；

所述利用所述天空分割网络的编码器模块的第一卷积单元提取所述原始图像的具有不同感受野的第一图像特征的步骤包括：

利用所述天空分割网络的编码器模块的多层第一卷积单元逐层提取所述原始图像的具有不同感受野的第一图像特征；其中，所述第一图像特征的分辨率逐层递减。

在其中一个实施例中，所述解码器模块包括多层第二卷积单元；所述第二卷积单元与所述第一卷积单元一一对应；

所述将所述第一图像特征输入到所述天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的所述原始图像的分辨率一致的第一特征图像的步骤包括：

采用特征跳接的方式将所述编码器模块的各第一卷积单元输出的第一图像特征输入到对应的解码器模块对应的第二卷积单元中，并结合上采样方式逐层进行网络运算，提取得到第二图像特征；

根据所述第二图像特征还原得到与输入的所述待分割图像的分辨率一致的第一特征图像。

在其中一个实施例中，各所述第一卷积单元包括多次堆叠的Conv+BN+ReLU网络层；

各所述第二卷积单元的运算操作包括Conv+BN+ReLU+UpSample网络层，其中，每层第二卷积单元通过行双线性插值上采样操作逐层增加输出的第二图像特征的分辨率。

在其中一个实施例中，所述对所述解码器模块的至少两层的第二卷积单元输出的第二特征图像利用与所述第二特征图像的分辨率相对应的损失函数进行训练的步骤包括：

确定所述解码器模块的至少两层的第二卷积单元所输出的第二特征图像相对于所述原始图像的分辨率比值；

根据所述分辨率比值，确定用于对所述每一层卷积层进行训练的BCE损失函数的种类和权重值；

基于所述权重值，利用对应种类的BCE损失函数对天空分割网络进行约束训练。

在其中一个实施例中，所述确定所述解码器模块的至少两层的第二卷积单元所输出的第二特征图像相对于所述原始图像的分辨率比值的步骤包括：

通过1×1卷积将所述解码器模块的至少两层的第二卷积单元的特征通道调整为输出通道，并输出对应的第二特征图像；

基于所述第二特征图像的分辨率，计算所述第二特征图像相对于所述原始图像的分辨率比值。

在其中一个实施例中，所述根据所述第一特征图像得到所述原始图像对应的概率图像的步骤包括：

将所述第一特征图像利用Sigmoid函数进行转换，得到所述特征图像对应的概率图像；其中，所述第一特征图像为所述编码器模块的最后一层第二卷积单元输出的第二特征图像。

第二方面，本申请实施例提供了一种图像特效处理方法，包括：

获取用户所选择的目标天空素材；

确定待分割的原始图像的天空区域，其中，所述天空区域通过将所述原始图像输入天空分割网络，对所述原始图像进行语义分割处理，利用所述天空分割网络的编码器模块的第一卷积单元提取所述原始图像的具有不同感受野的第一图像特征，将所述第一图像特征输入到所述天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的所述原始图像的分辨率一致的第一特征图像，并根据所述第一特征图像得到所述原始图像对应的概率图像所确定；其中所述天空分割网络为轻量级深度卷积神经网络，并通过对所述解码器模块的至少两层的第二卷积单元输出的第二特征图像利用与所述第二特征图像的分辨率相对应的损失函数进行训练得到；

将所述目标天空素材融合到所述天空区域，生成目标图像。

第三方面，本申请实施例提供了一种基于图像的天空区域分割装置，包括：

原始图像获取模块，用于获取包含天空内容特征的原始图像；

概率图像得到模块，用于将原始图像输入天空分割网络，对所述原始图像进行语义分割处理，利用所述天空分割网络的编码器模块的第一卷积单元提取所述原始图像的具有不同感受野的第一图像特征，将所述第一图像特征输入到所述天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的所述原始图像的分辨率一致的第一特征图像，并根据所述第一特征图像得到所述原始图像对应的概率图像；其中所述天空分割网络为轻量级深度卷积神经网络，并通过对所述解码器模块的至少两层的第二卷积单元输出的第二特征图像利用与所述第二特征图像的分辨率相对应的损失函数进行训练得到；

天空区域分割模块，用于根据所述概率图像对所述原始图像的天空区域进行分割。

第四方面，本申请实施例提供了一种图像特效处理装置，包括：

天空素材获取模块，用于获取用户所选择的目标天空素材；

天空区域确定模块，用于确定所述原始图像待分割的天空区域，其中，所述天空区域通过将所述原始图像输入天空分割网络，对所述原始图像进行语义分割处理，利用所述天空分割网络的编码器模块的第一卷积单元提取所述原始图像的具有不同感受野的第一图像特征，将所述第一图像特征输入到所述天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的所述原始图像的分辨率一致的第一特征图像，并根据所述第一特征图像得到所述原始图像对应的概率图像所确定；其中所述天空分割网络为轻量级深度卷积神经网络，并通过对所述解码器模块的至少两层的第二卷积单元输出的第二特征图像利用与所述第二特征图像的分辨率相对应的损失函数进行训练得到；

目标图像生成模块，用于将所述目标天空素材融合到所述天空区域，生成目标图像。

第五方面，本申请实施例提供了一种电子设备，其特征在于，其包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据第一方面所述的基于图像的天空区域分割方法或第二方面所述的图像特效处理方法。

第六方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的基于图像的天空区域分割方法或第二方面所述的图像特效处理方法。

上述实施例提供的基于图像的天空区域分割及特效处理方法、装置、设备及计算机可读存储介质，通过获取包含天空内容特征的原始图像，将原始图像输入到天空分割网络进行语义分割处理，利用天空分割网络的编码器模块的第一卷积单元提取原始图像的具有不同感受野的第一图像特征，将第一图像特征输入到天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的原始图像的分辨率一致的第一特征图像，并得到原始图像对应的概率图像，根据概率图像对原始图像的天空区域进行分割，其中，天空分割网络为轻量级深度卷积神经网络，并通过对解码器模块的至少两层的第二卷积单元输出的第二特征图像利用与第二特征图像的分辨率相对应的损失函数进行训练得到，部署在客户端，从而实现在客户端上对图像中的天空区域进行精准分割，性能稳定，处理速度快，提高图像的展示效果，满足用户的需求。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请实施例提供的基于图像的天空区域分割处理所涉及的应用系统框架示意图；

图2是本申请实施例提供的一种基于图像的天空区域分割方法的流程图；

图3是本申请一实施例提供的天空分割网络的工作原理图；

图4是本申请实施例提供的一种图像特效处理方法的流程图；

图5是本申请一实施例提供的图像特效处理的实现原理图；

图6是一实施例提供的基于图像的天空区域分割装置的结构示意图；

图7是一实施例提供的图像特效处理装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

下面对本申请实施例涉及的应用场景进行说明。

本申请实施例应用于对图像中的天空进行效果变换的场景，具体可以应用于图像，对图像中的天空区域进行识别和分割，并将原来的天空通过天气转换、颜色变换方式等替换为目标天空样式。

例如，客户端部署有对图像的天空区域进行识别和分割的神经网络，通过该神经网络确定天空区域，获取到用户选择的目标天空素材，将图像中的原始天空用目标天空素材进行更换，再进行图像展示，从而提高图像的展示效果，让图像更具有吸引力。

基于上述的应用场景，则需要神经网络能够执行于客户端，且能够精确分割出天空区域才能更好地提高图像的展示效果。当然，本申请实施例提供的技术方案还可以应用于其他的定位场景，在此不再一一列举。

为了更好地阐述本申请的技术方案，下面示出本方案所可以适用的某一应用环境。图1是本申请实施例提供的基于图像的天空区域分割处理所涉及的应用系统框架示意图，如图1所示，该应用系统10包括客户端101和服务端102，客户端101与服务端102之间通过有线网络或者无线网络建立通信连接。

客户端101可以为智能手机、智能相机、掌上电脑、平板电脑、电子书以及笔记本电脑等便携式设备，对此并不做限定，可以具有拍照、图像处理功能等功能，实现基于图像的天空区域分割和特效处理。可选的，客户端101具有触摸屏，用户可以通过在客户端101的触摸屏上进行相应的操作以实现天空分割、图像处理、特效合成等功能。客户端获取到相关的图像，对图像中的相关处理后发送至服务端102，以通过服务端102将图像下发到其他的客户端进行展示。

服务端102包括电子设备，如客户端101提供后台服务的后台服务器，可以用独立服务器或多个服务器组成的服务器集群来实现。在一实施例中，该服务器可以为图像共享平台。用户拍摄好图像后，对图像进行相应处理，比如天空变换、人物美化、背景替换等处理后，将处理后的图像上传到服务端102，再由服务端102向其他客户端推送图像，从而使其他用户能够看到该用户的制作好的图像。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

在相关的图像处理技术中，可以通过用户在客户端设置相关参数，以通过性能更好的服务器识别出图像中的指定区域，如天空区域，将天空区域按照用户设置的参数进行样式变换后，生成处理后的图像再推送到各观众端。

在这个过程中，需要客户端和服务端在连网状态下进行，借助服务器的高性能进行神经网络模型的训练，由于相关技术中的基于深度学习的神经网络模型的运算量较大，无法部署在客户端，无法实现离线状态下的基于神经网络模型的图像处理。且有些改进后的图像处理方法能够执行于客户端，但其他进行图像分割的准确性低，导致分割效果，影响图像处理效果。

本申请提供的基于图像的天空区域分割及特效处理方法、装置、设备及计算机可读存储介质，旨在解决现有技术的如上技术问题。

图2是本申请实施例提供的一种基于图像的天空区域分割方法的流程图，该基于图像的天空区域分割方法可应用于基于图像的天空区域分割设备，如客户端。下面以移动终端作为客户端为例进行说明。

S210、获取包含天空内容特征的原始图像。

通常而言，用户通过手机相机等设备拍摄外景图像，这些外景图像中包括天空区域。天空内容特征是指代表天空的特征，比如云朵、颜色种类、颜色变化和颜色区域等特征。

在本实施例中，可以通过从手机相机等本地设备中获取包含天空内容特征的原始图像，也可以是通过从本地存储设备或外置存储设备中获取包含天空内容特征的原始图像。当然，原始图像也可以是不包含天空内容特征，若获取到不包含天空内容特征的原始图像，则可能在后续的处理中将其进行删除，或者无需进行后续的天空分割或特效处理。

可选的，还可以根据天空分割场景特性对所述原始图像进行图像格式调整。

在本实施例中，天空分割场景特性是指满足于图像处理，如美图精修或小视频封面制作要求的分割精度、显示分辨率、图像尺寸等要求的参数特性。

例如，将图像进行裁剪和调整分辨率等处理，将图像的高度和宽度调整为(384，512)，其中，图像的高度为384像素高度，宽度为512像素宽度。

根据天空分割场景特性设置待分割图像的预处理参数，按照预处理参数对待分割图像中的原始图像进行图像格式调整，如调整尺寸、分辨率和精度等。

S220、将原始图像输入天空分割网络，对所述原始图像进行语义分割处理，利用所述天空分割网络的编码器模块的第一卷积单元提取所述原始图像的具有不同感受野的第一图像特征，将所述第一图像特征输入到所述天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的所述原始图像的分辨率一致的第一特征图像，并根据所述第一特征图像得到所述原始图像对应的概率图像。

其中所述天空分割网络为轻量级深度的卷积神经网络，并通过对所述解码器模块的至少两层的第二卷积单元输出的第二特征图像利用与所述第二特征图像的分辨率相对应的损失函数进行训练得到。

图像语义分割(semantic segmentation)，是指让计算机根据图像的语义来进行分割。在图像领域，语义指的是图像的内容，对图片意思进行理解，分割的意思是从像素的角度分割出图片中的不同对象，对原图中的每个像素都进行标注，如，图像帧的白色表示天空区域，黑色表示非天空区域。当然在其他实施例中，还可以是图像帧的白色表示天空区域，黑色表示非天空区域等。

在本实施例中，天空分割网络为预先训练得到的卷积神经网络，能够与基于图像的天空区域分割场景相适应轻量级卷积神经网络，部署在客户端上，能够实时将图像中的天空区域进行样式变换。相对于相关的卷积神经网络的高运算量，本实施例的天空分割模型进行结构调整和参数调整，以使得保证识别精度的基础上，大大减少运算量。通常而言，神经网络的通道数量越多，数据运算量越大。天空分割网络压缩通道数量，降低了运算量，比如，将基础通道数由64压缩到16。天空分割是基于图像进行处理，运算量要求低一点，所以通道数设置为16，合适降低参数量，在减少运算量的时候，也保证了分割效果的精确度和稳定性。在本实施例中，还可以通过其他参数调整或结构调整方式来补偿通道数量压缩所导致的分割效果，保证分割精度。

在本实施例中，利用天空分割网络的编码器模块的第一卷积单元提取所述原始图像的具有不同感受野的第一图像特征，将第一图像特征输入到天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的原始图像的分辨率一致的第一特征图像，并根据第一特征图像得到原始图像对应的概率图像。

其中，编码器模块包括多层第一卷积单元；解码器模块包括多层第二卷积单元，第二卷积单元与第一卷积单元一一对应。在本实施例中，解码器模块包括五层第二卷积单元，解码器模块包括五层第二卷积单元。

在一实施例中，步骤S220中的利用所述天空分割网络的编码器模块的第一卷积单元提取所述原始图像的具有不同感受野的第一图像特征，可以包括步骤：

S2201、利用所述天空分割网络的编码器模块的多层第一卷积单元逐层提取所述原始图像的具有不同感受野的第一图像特征；其中，所述第一图像特征的分辨率逐层递减。

在卷积神经网络中，感受野(Receptive Field)的定义是卷积神经网络每一层输出的特征图像(feature map)上的像素点在输入图像上映射的区域大小。再通俗点的解释是，特征图像上的一个点对应输入图像上的区域。在本实施例中，通过获取到具有不同感受野的第一图像特征确定原始图像的语义信息和空间信息，从而有利于提高原始图像的像素分类的准确性和边缘分割精度。

各第一卷积单元包括多次堆叠的Conv+BN+ReLU网络层；在本实施例中，第二卷积单元包括两次堆叠的Conv+BN+ReLU网络层。

在本实施例中，每经过一层第一卷积单元的处理，输出第一图像特征的分辨率则相对于该层输入的第一图像特征的分辨率减半。

在一实施例中，解码器模块包括多层第二卷积单元；所述第二卷积单元与所述第一卷积单元一一对应。各所述第二卷积单元的运算操作包括Conv+BN+ReLU+UpSample网络层，其中，每层第二卷积单元通过行双线性插值上采样操作逐层增加输出的第二图像特征的分辨率，从而逐层还原出与输入的原始图像的分辨率一致的特征图像，即第一特征图像。

在一实施例中，步骤S220中的将所述第一图像特征输入到所述天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的所述原始图像的分辨率一致的第一特征图像，包括以下步骤：

S2202、采用特征跳接的方式将所述编码器模块的各第一卷积单元输出的第一图像特征输入到对应的解码器模块对应的第二卷积单元中，并结合上采样方式逐层进行网络运算，提取得到第二图像特征。

特征跳接(skip connect)是指编码器模块的位于中间层(非最后一层)第一卷积单元输出的第一图像特征跳转输入到对应的解码器模块的对应的第二卷积单元，并与该层对应的上一层第二卷积单元输出的第二图像特征进行卷积运算处理。

图3是本申请一实施例提供的天空分割网络的工作原理图，如图3所示，编码器模块的in_conv卷积单元输出的第一图像特征跳接输入到解码器模块对应的Decoder_5卷积单元，编码器模块的Encoder_1卷积单元输出的第一图像特征跳接输入到解码器模块对应的Decoder_4卷积单元，编码器模块的Encoder_2卷积单元输出的第一图像特征跳接输入到解码器模块对应的Decoder_3卷积单元，编码器模块的Encoder_3卷积单元输出的第一图像特征跳接输入到解码器模块对应的Decoder_2卷积单元，编码器模块的Encoder_4卷积单元输出的第一图像特征跳接输入到解码器模块对应的Decoder_1卷积单元，从而实现特征跳接，以将编码器模块的各第一卷积单元输出的第一图像特征输入到对应的解码器模块对应的第二卷积单元中。与此同时，解码器模块对应的Decoder_1卷积单元获取Encoder_5卷积单元输出的第一图像特征，解码器模块对应的Decoder_2获取Decoder_1卷积单元输出的第二图像特征，解码器模块对应的Decoder_3卷积单元获取Decoder_2卷积单元输出的第二图像特征，解码器模块对应的Decoder_4卷积单元获取Decoder_3卷积单元输出的第二图像特征，解码器模块对应的Decoder_5获取Decoder_4卷积层输出的第二图像特征，从而实现通过编码器模块的各第一卷积单元输出的第一图像特征输入到对应的解码器模块对应的第二卷积单元中，并利用上采样方式结合解码器模块各第二卷积单元输出的第二图像特征逐层进行网络运算，提取得到第二图像特征。

S2203、根据所述第二图像特征还原得到与输入的所述待分割图像的分辨率一致的第一特征图像。

在本实施例中，解码器模块通过多层的第二卷积单元，逐层加倍增加第二图像特征的分辨率，以使得当最后一层的第二卷积单元输出的第二图像特征的分辨率与输入的原始图像的分辨率一致，得到第一特征图像。

进一步的，根据第一特征图像得到原始图像对应的概率图像，概率图像是指像素值为0或1组成的图像，为单通道图像。在概率图像中，每个像素的取值为0或者1，概率图像的尺寸大小与输入的待分割图像的大小相同。

S230、接收所述天空分割网络输出的概率图像，根据所述概率图像对所述原始图像的天空区域进行分割。

天空分割网络对原始图像进行语义分割后，输出对应的概率图像，概率图像中的各个像素的取值为1或0，根据像素值确定天空分割区域，如像素值255为白色，白色区域为天空区域。

可选的，可以按照天空分割网络输出的概率图像对图像的天空区域进行分割处理。在本实施例中，还可以对概率图像进行后续处理，比如导向滤波，以优化天空区域的分割精度，或者帧间均值平滑处理，以得到更精准的概率图像等，从而进一步提高图像的天空区域的分割效果。

本实施例提供的基于图像的天空区域分割方法，通过获取包含天空内容特征的原始图像；将原始图像输入天空分割网络，对原始图像进行语义分割处理，得到原始图像对应的概率图像；接收天空分割网络输出的概率图像，根据概率图像对原始图像的天空区域进行分割，其中，天空分割网络为压缩通道数量的卷积神经网络，从而实现在客户端上对图像中的天空区域进行精准分割，性能稳定，处理速度快，满足用户的需求。

为了使本技术方案更为清晰，更为便于理解，下面对本技术方案中的多个步骤的具体的实现过程和方式加以详细的描述。

需要说明的是，在相关技术中，天空分割实现方案都是基于图像输入进行处理，普遍具有运算量大，若直接将相关技术中的神经网络，如Unet网络移植到客户端，导致天空分割的处理速度较慢甚至死机无法工作，从而造成卡端，使得相关技术中的天空分割网络无法部署在客户端进行运行。本申请方案是基于轻量级天空分割网络进行图像的天空分割，能够部署在客户端，且能够实时精确的分割出天空区域，保证分割精度的同时避免卡顿。

基于此，本申请方案提供的基于图像的天空区域分割方法还包括：训练生成天空分割网络。在一实施例中，天空分割网络可以通过以下方式得到：

S300、根据天空分割场景特性压缩Unet网络模型的基础通道数量并增加所述Unet网络模型的层数，以使得通过修改后的所述基础通道数与所述层数所输出特征图像与天空分割场景特性相适应，训练得到轻量级的天空分割网络。

在本实施例中，天空分割场景特性是指满足于图像制作平台，如美图精修、短视频或小视频的制作要求的分割精度、显示分辨率、图像尺寸等要求的参数特性。

在本实施例中，天空分割网络所采用的卷积神经网络是基于Unet网络架构搭建的神经网络。Unet网络架构是通过先下采样，经过不同程度的卷积以学习深层次的特征，再经过上采样恢复为原始图像的大小，输出原始图像对应的概率图像。

在一实施例中，压缩Unet网络架构的基础通道数量，将基础通道数量由64压缩到16，同时将卷积神经网络的4层卷积层增加到5层，弥补基础通道数量压缩所造成的分割效果损失，增强天空分割网络的特征提取能力，从而使得在该基础通道数量和卷积层的层数的天空分割网络输出的特征图像的分辨率与天空分割场景特性相适应，得到能够部署在客户端上运行的轻量级的天空分割网络。

在本实施例中，天空分割网络的每个卷积层包括若干个编码器基础卷积模块和解码器基础卷积模块；其中，所述编码器基础卷积模块包括两次堆叠的Conv+BN+ReLU网络层，解码器基础卷积模块包括Conv+BN+ReLU+UpSample网络层。相对于相关技术中的编码器基础卷积模块和解码器基础卷积模块，本实施例提供的编码器基础卷积模块和解码器基础卷积模块添加BN操作使得训练更加稳定，分割效果更好。

在本实施例中，天空分割网络的每一个卷积层所包括的编码器基础卷积模块和解码器基础卷积模块的个数可以不同，从而达到不同的训练效果。

相对于原始的Unet网络模型的运算量Flops＝46.3G，本实施例提供的能够实时进行天空分割的天空分割网络的运算量Flops＝370M，处理速度提高了160多倍，该天空分割网络能够部署在中低端的安卓系统的智能手机上实时运行，且具有更好的分割准确率与稳定性。

在一实施例中，步骤S220中的根据所述第一特征图像得到所述原始图像对应的概率图像，可以包括以下步骤：

S2204、将所述第一特征图像利用Sigmoid函数进行转换，得到所述第一特征图像对应的概率图像。

其中，第一特征图像为与原始图像等尺寸的单通道图像。单通道图像，俗称灰度图，每个像素点只能有一个值表示颜色，它的像素值在0到255之间，0是黑色，255是白色，中间值是一些不同等级的灰色。第一特征图像的像素值范围为0～255。

Sigmoid函数的值域在0和1之间，Sigmoid函数具有非常好的对称性。在本实施例中，将像素值范围在0～255的特征图像利用Sigmoid函数进行转换，输出得到特征图像对应的概率图像的取值范围为0～1。

Sigmoid函数为：

其中，x为特征图像的像素值，f(x)为特征图像的像素点对应的在概率图像的取值。

在一实施例中，为了优化天空分割网络的分割效果，降低漏检误检现象，在训练过程中，利用多尺度损失约束方法优化模型训练。具体的，对解码器模块的至少两层的第二卷积单元输出的第二特征图像利用与第二特征图像的分辨率相对应的损失函数进行训练，可以包括以下步骤：

S3101、确定解码器模块的至少两层的第二卷积单元所输出的第二特征图像相对于所述原始图像的分辨率比值。

在本实施例中，解码器模块的上一层第二卷积单元输出第二特征图像作为下一层第二卷积单元的输入。每一层第二卷积单元所输出第二特征图像的分辨率是该层第二卷积单元所输入的第二特征图像(即上一第二卷积单元输出的第二特征图像)的分辨率的一半。例如，输入第二特征图像的分辨率为(384,512),则输出的第二特征图像的分辨率为(192,256)。在本实施例中，可以通过1×1卷积将特征通道调整为输出通道，输出每个第二卷积单元输出的第二特征图像。在预测阶段，神经网络无需计算这些额外的1×1卷积，因此不会增加额外的计算量。

经过第一层的第二卷积单元后，输出的第二特征图像的分辨率为原始图像的分辨率的一半，将该第二特征图像输入到第二层的第二卷积单元进行处理，经过第二层的第二卷积单元后，输出的第二特征图像的分辨率为原始图像的分辨率的1/4(也即是，上一层的第二特征图像的分辨率的1/2)，以此类推。获取到解码器模块的至少两个第二卷积单元所输出的第二特征图像的分辨率，基于第二特征图像的分辨率，确定该第二特征图像的分辨率相对于原始图像的分辨率比值。

S3102、根据所述分辨率比值，确定用于对所述至少两层的第二卷积单元进行训练的BCE(Binary CrossEntropy)损失函数的种类和权重值。

在本实施例中，对至少两层的第二卷积单元进行训练的BCE损失函数的种类和权重值与该卷积层输出的特征图像的分辨率相匹配。

例如，在分辨率比值为1/2的第二特征图像输出的分支上，通过1/2BCE损失函数进行训练，在分辨率比值为1/4的第二特征图像输出的分支上，通过1/4BCE损失函数进行训练，在分辨率比值为1/8的第二特征图像输出的分支上，通过1/8BCE损失函数进行训练。其中，1/2BCE损失函数、1/4BCE损失函数和1/8BCE损失函数是不同种类的损失函数。

进一步的，还可以设置每个输出分支上的损失函数的权重，从而使得训练出来的结果更加精确和稳定。

S3103、基于所述权重值，利用对应种类的BCE损失函数对天空分割网络进行约束训练。

在本实施例中，基于每个输出分支上的损失函数的权重，计算出训练阶段的最后损失Loss为：

其中，

图4是本申请实施例提供的一种图像特效处理方法的流程图，该图像特效处理方法可应用于图像特效处理设备，如客户端。

具体的，如图4所示，图像特效处理方法可以包括以下步骤：

S410、获取用户所选择的目标天空素材。

在本实施例中，客户端本地预先下载有天空素材，用户通过点击客户端的显示界面上的相关按钮，触发弹出天空素材的面板，通过面板展示不同的天空素材，这些天空素材可以是系统预先配置的天空素材，也可以是用户自定义的天空素材。

用户通过选择面板上的天空素材中的一个或多个，作为后续处理的目标天空素材。

S420、确定待分割的原始图像待分割的天空区域。

其中，所述天空区域通过将所述原始图像输入天空分割网络，对所述原始图像进行语义分割处理，利用所述天空分割网络的编码器模块的第一卷积单元提取所述原始图像的具有不同感受野的第一图像特征，将所述第一图像特征输入到所述天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的所述原始图像的分辨率一致的第一特征图像，并根据所述第一特征图像得到所述原始图像对应的概率图像所确定；其中所述天空分割网络为轻量级深度卷积神经网络，并通过对所述解码器模块的至少两层的第二卷积单元输出的第二特征图像利用与所述第二特征图像的分辨率相对应的损失函数进行训练得到。

获取包含天空内容特征的原始图像。通常而言，用户通过手机相机等设备拍摄外景图像，这些外景图像中包括天空区域。天空内容特征是指代表天空的特征，比如云朵、颜色种类、颜色变化和颜色区域等特征。

在本实施例中，可以通过从手机相机等本地设备中获取包含天空内容特征的原始图像，也可以是通过从本地存储设备或外置存储设备中获取包含天空内容特征的原始图像。

根据天空分割场景特性对所述原始图像进行图像格式调整。在本实施例中，天空分割场景特性是指满足于图像处理，如美图精修或小视频封面制作要求的分割精度、显示分辨率、图像尺寸等要求的参数特性。

例如，将图像进行裁剪和调整分辨率等处理，将图像的高度和宽度调整为(384，512)，其中，图像的高度为384像素高度，宽度为512像素宽度。

根据天空分割场景特性设置待分割图像的预处理参数，按照预处理参数对待分割图像中的原始图像进行图像格式调整，如调整尺寸、分辨率和精度等。

将经过图像格式调整后的原始图像输入天空分割网络，对所述原始图像进行语义分割处理，得到所述原始图像对应的概率图像；其中所述天空分割网络为压缩通道数量的卷积神经网络。

图像语义分割(semantic segmentation)，是指让计算机根据图像的语义来进行分割。在图像领域，语义指的是图像的内容，对图片意思进行理解，分割的意思是从像素的角度分割出图片中的不同对象，对原图中的每个像素都进行标注，如，图像帧的白色表示天空区域，黑色表示非天空区域。当然在其他实施例中，还可以是图像帧的白色表示天空区域，黑色表示非天空区域等。

在本实施例中，天空分割网络为预先训练得到的卷积神经网络，能够与基于图像的天空区域分割场景相适应轻量级卷积神经网络，部署在客户端上，能够实时将图像中的天空区域进行样式变换。相对于相关的卷积神经网络的高运算量，本实施例的天空分割模型进行结构调整和参数调整，以使得保证识别精度的基础上，大大减少运算量。通常而言，神经网络的通道数量越多，数据运算量越大。天空分割网络压缩通道数量，降低了运算量，比如，将基础通道数由64压缩到16。天空分割是基于图像进行处理，运算量要求低一点，所以通道数设置为16，合适降低参数量，在减少运算量的时候，也保证了分割效果的精确度和稳定性。在本实施例中，还可以通过其他参数调整或结构调整方式来补偿通道数量压缩所导致的分割效果，保证分割精度。

在本实施例中，利用天空分割网络的编码器模块的第一卷积单元提取所述原始图像的具有不同感受野的第一图像特征，将第一图像特征输入到天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的原始图像的分辨率一致的第一特征图像，并根据第一特征图像得到原始图像对应的概率图像。

其中，编码器模块包括多层第一卷积单元；解码器模块包括多层第二卷积单元，第二卷积单元与第一卷积单元一一对应。在本实施例中，解码器模块包括五层第二卷积单元，解码器模块包括五层第二卷积单元。

在一实施例中，利用所述天空分割网络的编码器模块的多层第一卷积单元逐层提取所述原始图像的具有不同感受野的第一图像特征；其中，所述第一图像特征的分辨率逐层递减。

在卷积神经网络中，感受野(Receptive Field)的定义是卷积神经网络每一层输出的特征图像(feature map)上的像素点在输入图像上映射的区域大小。再通俗点的解释是，特征图像上的一个点对应输入图像上的区域。在本实施例中，通过获取到具有不同感受野的第一图像特征确定原始图像的语义信息和空间信息，从而有利于提高原始图像的像素分类的准确性和边缘分割精度。

各第一卷积单元包括多次堆叠的Conv+BN+ReLU网络层；在本实施例中，第二卷积单元包括两次堆叠的Conv+BN+ReLU网络层。

在本实施例中，每经过一层第一卷积单元的处理，输出第一图像特征的分辨率则相对于该层输入的第一图像特征的分辨率减半。

在一实施例中，解码器模块包括多层第二卷积单元；所述第二卷积单元与所述第一卷积单元一一对应。各所述第二卷积单元的运算操作包括Conv+BN+ReLU+UpSample网络层，其中，每层第二卷积单元通过行双线性插值上采样操作逐层增加输出的第二图像特征的分辨率，从而逐层还原出与输入的原始图像的分辨率一致的特征图像，即第一特征图像。

在一实施例中，采用特征跳接的方式将所述编码器模块的各第一卷积单元输出的第一图像特征输入到对应的解码器模块对应的第二卷积单元中，并结合上采样方式逐层进行网络运算，提取得到第二图像特征。

特征跳接(skip connect)是指编码器模块的位于中间层(非最后一层)第一卷积单元输出的第一图像特征跳转输入到对应的解码器模块的对应的第二卷积单元，并与该层对应的上一层第二卷积单元输出的第二图像特征进行卷积运算处理。

图3是本申请一实施例提供的天空分割网络的工作原理图，如图3所示，编码器模块的in_conv卷积单元输出的第一图像特征跳接输入到解码器模块对应的Decoder_5卷积单元，编码器模块的Encoder_1卷积单元输出的第一图像特征跳接输入到解码器模块对应的Decoder_4卷积单元，编码器模块的Encoder_2卷积单元输出的第一图像特征跳接输入到解码器模块对应的Decoder_3卷积单元，编码器模块的Encoder_3卷积单元输出的第一图像特征跳接输入到解码器模块对应的Decoder_2卷积单元，编码器模块的Encoder_4卷积单元输出的第一图像特征跳接输入到解码器模块对应的Decoder_1卷积单元，从而实现特征跳接，以将编码器模块的各第一卷积单元输出的第一图像特征输入到对应的解码器模块对应的第二卷积单元中。与此同时，解码器模块对应的Decoder_1卷积单元获取Encoder_5卷积单元输出的第一图像特征，解码器模块对应的Decoder_2获取Decoder_1卷积单元输出的第二图像特征，解码器模块对应的Decoder_3卷积单元获取Decoder_2卷积单元输出的第二图像特征，解码器模块对应的Decoder_4卷积单元获取Decoder_3卷积单元输出的第二图像特征，解码器模块对应的Decoder_5获取Decoder_4卷积层输出的第二图像特征，从而实现通过编码器模块的各第一卷积单元输出的第一图像特征输入到对应的解码器模块对应的第二卷积单元中，并利用上采样方式结合解码器模块各第二卷积单元输出的第二图像特征逐层进行网络运算，提取得到第二图像特征。

在一实施例中、根据所述第二图像特征还原得到与输入的所述待分割图像的分辨率一致的第一特征图像。

在本实施例中，解码器模块通过多层的第二卷积单元，逐层加倍增加第二图像特征的分辨率，以使得当最后一层的第二卷积单元输出的第二图像特征的分辨率与输入的原始图像的分辨率一致，得到第一特征图像。

进一步的，根据第一特征图像得到原始图像对应的概率图像，概率图像是指像素值为0或1组成的图像，为单通道图像。在概率图像中，每个像素的取值为0或者1，概率图像的尺寸大小与输入的待分割图像的大小相同。

客户端接收所述天空分割网络输出的概率图像，根据所述概率图像对所述原始图像的天空区域进行分割。

天空分割网络对原始图像进行语义分割后，输出对应的概率图像，概率图像中的各个像素的取值为1或0，根据像素值确定天空分割区域，如像素值255为白色，白色区域为天空区域。

可选的，可以按照天空分割网络输出的概率图像对图像的天空区域进行分割处理。在本实施例中，还可以对概率图像进行后续处理，比如导向滤波，以优化天空区域的分割精度，或者帧间均值平滑处理，以得到更精准的概率图像等，从而进一步提高图像的天空区域的分割效果。

S430、将所述目标天空素材融合到所述天空区域，生成目标图像。

将目标天空素材覆盖在原始图像的天空区域上，或者删除原始图像原本的天空样式，更换上用户所选择的目标天空素材，将目标天空素材融合到原始图像中，得到目标图像，以使目标图像具有天空特效，例如，将阴沉的天空变化为晴朗阳光灿烂的天空。

本实施例提供的图像特效处理方法，通过获取用户所选择的目标天空素材；利用预先训练好的轻量化的天空分割网络对原始图像进行语义分割处理，得到原始图像对应的概率图像；接收天空分割网络输出的概率图像，并确定概率图像对应在原始图像的天空区域进行分割，将天空区域利用目标天空素材进行特效处理，输出融合有目标天空素材的目标图像，实现在客户端上实时进行原始图像的天空区域的精准分割与天空素材的更换，满足用户的需求。

为了更清楚地阐述本方案，下面结合图5对本方案的实现过程进行示例性说明。图5是本申请一实施例提供的图像特效处理的实现原理图。

如图5所示，获取输入的原始图像，将原始图像输入到预先训练好的天空分割网络中进行语义分割，利用天空分割网络的编码模块和解码模块的卷积单元进行编码和解码处理，在编码过程中，通过in_conv、Encoder_1、Encoder_2、Encoder_3、Encoder_4和Encoder_5等卷积层的逐层卷积编码处理，再通过Decoder_1、Decoder_2、Decoder_3、Decoder_4和Decoder_5等解码处理后得到概率图像。

如图5所示，对于每个Decoder_i(i为正整数，如1、2、3、4和5)通道输出分支上对输出结果利用对应的BCE损失函数训练，如Decoder_2通道输出的第二特征图像与原始图像的分辨率比值为1/8，则利用1/8BCE损失函数进行训练，进一步的，Decoder_3通道输出的第二特征图像与原始图像的分辨率比值为1/4，则利用1/4BCE损失函数进行训练，Decoder_4通道输出的第二特征图像与原始图像的分辨率比值为1/2，则利用1/2BCE损失函数进行训练，Decoder_5通道输出的第二特征图像与原始图像的分辨率比值为1/1，则利用1/1BCE损失函数进行训练。

在本实施例中，针对不同卷积层输出通道的输出结果进行不同的BCE损失函数约束，有利于模型训练并学习到更加精细的边缘信息。

以上示例仅用于辅助阐述本公开技术方案，其涉及的图示内容及具体流程不构成对本公开技术方案的使用场景的限定。

下面对基于图像的天空区域分割装置和图像特效处理装置的相关实施例进行详细阐述。

图6是一实施例提供的基于图像的天空区域分割装置的结构示意图，基于图像的天空区域分割装置可执行于基于图像的天空区域分割设备，如客户端。

具体的，该基于图像的天空区域分割装置200包括：原始图像获取模块210、概率图像得到模块220以及天空区域分割模块230。

其中，原始图像获取模块210，用于获取包含天空内容特征的原始图像；概率图像得到模块220，用于将图像格式调整后的所述原始图像输入天空分割网络，对所述原始图像进行语义分割处理，利用所述天空分割网络的编码器模块的第一卷积单元提取所述原始图像的具有不同感受野的第一图像特征，将所述第一图像特征输入到所述天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的所述原始图像的分辨率一致的第一特征图像，并根据所述第一特征图像得到所述原始图像对应的概率图像；其中所述天空分割网络为轻量级深度卷积神经网络，并通过对所述解码器模块的至少两层的第二卷积单元输出的第二特征图像利用与所述第二特征图像的分辨率相对应的损失函数进行训练得到；天空区域分割模块230，用于根据所述概率图像对所述原始图像的天空区域进行分割。

本实施例提供的基于图像的天空区域分割装置，部署在客户端，能够实现在客户端上进行图像的天空区域的精准分割，性能稳定，处理速度快，满足用户的需求。

在一实施例中，所述编码器模块包括多层第一卷积单元；

概率图像得到模块220包括：第一图像特征提取单元，用于利用所述天空分割网络的编码器模块的多层第一卷积单元逐层提取所述原始图像的具有不同感受野的第一图像特征；其中，所述第一图像特征的分辨率逐层递减。

在一实施例中，所述解码器模块包括多层第二卷积单元；所述第二卷积单元与所述第一卷积单元一一对应；

概率图像得到模块220包括：第二图像特征提取单元和第一特征图像得到单元；

第二图像特征提取单元，用于采用特征跳接的方式将所述编码器模块的各第一卷积单元输出的第一图像特征输入到对应的解码器模块对应的第二卷积单元中，并结合上采样方式逐层进行网络运算，提取得到第二图像特征；第一特征图像得到单元，用于根据所述第二图像特征还原得到与输入的所述待分割图像的分辨率一致的第一特征图像。

在一实施例中，各所述第一卷积单元包括多次堆叠的Conv+BN+ReLU网络层；各所述第二卷积单元的运算操作包括Conv+BN+ReLU+UpSample网络层，其中，每层第二卷积单元通过行双线性插值上采样操作逐层增加输出的第二图像特征的分辨率。

在一实施例中，基于图像的天空区域分割装置200还包括：分割网络训练模块，用于对所述解码器模块的至少两层的第二卷积单元输出的第二特征图像利用与所述第二特征图像的分辨率相对应的损失函数进行训练。

在一实施例中，分割网络训练模块包括：分辨率比值单元、权重值确定单元和约束训练单元；其中，分辨率比值单元，用于确定解码器模块的至少两层的第二卷积单元所输出的第二特征图像相对于所述原始图像的分辨率比值；权重值确定单元，用于根据所述分辨率比值，确定用于对所述至少两层的第二卷积单元进行训练的BCE损失函数的种类和权重值；约束训练单元，用于基于所述权重值，利用对应种类的BCE损失函数对天空分割网络进行约束训练。

在一实施例中，分辨率比值单元包括：输出通道调整子单元和分辨率比值确定单元；

其中，输出通道调整子单元，用于通过1×1卷积将解码器模块的至少两层的第二卷积单元的特征通道调整为输出通道，并输出对应的第二特征图像；分辨率比值确定单元，用于基于第二特征图像的分辨率，计算第二特征图像相对于所述原始图像的分辨率比值。

在一实施例中，概率图像得到模块220包括：概率图像得到单元，用于将所述第一特征图像利用Sigmoid函数进行转换，得到所述特征图像对应的概率图像。

本公开实施例的基于图像的天空区域分割装置可执行本公开的实施例所提供的基于图像的天空区域分割方法，其实现原理相类似，具有和图像特效处理方法相同的有益效果，此处不再赘述。

图7是一实施例提供的图像特效处理装置的结构示意图，图像特效处理装置可执行于图像特效处理设备，如客户端。

具体的，如图7所示，图像特效处理装置400包括：天空素材获取模块410、天空区域确定模块420以及目标图像生成模块430。

其中，天空素材获取模块410，用于获取用户所选择的目标天空素材；

天空区域确定模块420，用于确定待分割的原始图像的天空区域，其中，所述天空区域通过将所述原始图像输入天空分割网络，对所述原始图像进行语义分割处理，利用所述天空分割网络的编码器模块的第一卷积单元提取所述原始图像的具有不同感受野的第一图像特征，将所述第一图像特征输入到所述天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的所述原始图像的分辨率一致的第一特征图像，并根据所述第一特征图像得到所述原始图像对应的概率图像所确定；其中所述天空分割网络为轻量级深度卷积神经网络，并通过对所述解码器模块的至少两层的第二卷积单元输出的第二特征图像利用与所述第二特征图像的分辨率相对应的损失函数进行训练得到；

目标图像生成模块430，用于将所述目标天空素材融合到所述天空区域，生成目标图像。

本实施例提供的图像特效处理装置，部署在客户端，能够实现在客户端上进行图像的天空区域的精准分割和天空特效的合成处理，性能稳定，处理速度快，满足用户的需求。

本公开实施例的图像特效处理装置可执行本公开的实施例所提供的图像特效处理方法，其实现原理相类似，具有和图像特效处理方法相同的有益效果，此处不再赘述。

本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一实施例中的基于图像的天空区域分割方法或图像特效处理方法。

上述提供的计算机设备执行上述任意实施例提供的基于图像的天空区域分割方法或图像特效处理方法时，具备相应的功能和有益效果。

本发明实施例提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于图像的天空区域分割方法，包括：

获取包含天空内容特征的原始图像；

将原始图像输入天空分割网络，对所述原始图像进行语义分割处理，利用所述天空分割网络的编码器模块的第一卷积单元提取所述原始图像的具有不同感受野的第一图像特征，将所述第一图像特征输入到所述天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的所述原始图像的分辨率一致的第一特征图像，并根据所述第一特征图像得到所述原始图像对应的概率图像；其中所述天空分割网络为轻量级深度卷积神经网络，并通过对所述解码器模块的至少两层的第二卷积单元输出的第二特征图像利用与所述第二特征图像的分辨率相对应的损失函数进行训练得到；

接收所述天空分割网络输出的概率图像，根据所述概率图像对所述原始图像的天空区域进行分割。

所述计算机可执行指令在由计算机处理器执行时还用于执行一种图像特效处理方法，包括：

获取用户所选择的目标天空素材；

确定所述原始图像待分割的天空区域，其中，所述天空区域通过将所述原始图像输入天空分割网络，对所述原始图像进行语义分割处理，利用所述天空分割网络的编码器模块的第一卷积单元提取所述原始图像的具有不同感受野的第一图像特征，将所述第一图像特征输入到所述天空分割网络的解码器模块的第二卷积单元进行处理，还原得到与输入的所述原始图像的分辨率一致的第一特征图像，并根据所述第一特征图像得到所述原始图像对应的概率图像所确定；其中所述天空分割网络为轻量级深度卷积神经网络，并通过对所述解码器模块的至少两层的第二卷积单元输出的第二特征图像利用与所述第二特征图像的分辨率相对应的损失函数进行训练得到；

将所述目标天空素材融合到所述天空区域，生成目标图像。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的基于图像的天空区域分割方法或图像特效处理方法操作，且具备相应的功能和有益效果。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的基于图像的天空区域分割方法或图像特效处理方法。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。