图像恢复模型的生成方法及装置、图像恢复方法及装置

摘要

本公开实施例公开了一种图像恢复模型的生成方法、装置、计算机可读存储介质及电子设备，其中，该方法包括：利用待训练模型包括的数据预处理网络，对样本原始图像数据进行预处理，得到样本中间图像；利用待训练模型包括的图像恢复网络，对样本中间图像进行恢复，得到恢复后图像；基于预设的损失函数，确定表示恢复后图像与预设的基准图像之间的误差的损失值；基于损失值，调整待训练模型的参数；响应于调整参数后的待训练模型符合预设的训练结束条件，将调整参数后的待训练模型确定为图像恢复模型。本公开实施例无需使用目前ISP算法包含的众多模块对原始图像数据进行处理，降低了数据处理的复杂性，提高了图像恢复的效率。

说明书

技术领域

本公开涉及计算机技术领域，尤其是一种图像恢复模型的生成方法及装置、图像恢复方法及装置、计算机可读存储介质及电子设备。

背景技术

ISP(Image Signal Process，图像信号处理)在相机成像的整个环节中，负责接收感光传感器(Sensor)的原始信号数据，是整个相机拍照的第一步处理流程，用于处理图像信号传感器输出的图像信号。ISP的主要作用是对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等。

ISP通常由一系列处理模块构成，这些处理模块根据超参数将传感器采集的原始图像数据(RAW)重建为彩色图像，ISP的重建效果受超参数影响较大。目前已有较多的基于CNN(Convolutional Neural Network，卷积神经网络)实现的ISP算法，用于复原或实现优于传统ISP的重建效果。并且传统的ISP是面向人眼效果进行图像优化，对于图像识别领域，传统ISP算法中哪些模块真正有效是未知的。

现有基于CNN实现的ISP算法主要包含以下几个方向：端到端实现整个ISP流线的方法、基于模块的方法和基于场景的方法。其中基于CNN端到端实现整个ISP流线的方法是构建一个大容量的网络结构，并且使用一个更高质量的图片作为监督去学习ISP中涉及的所有功能，使得其在复原效果上取得了很大的提升，甚至超越了本身传统的ISP算法。另外，基于模块的方法是用CNN网络来实现ISP中特定模块的功能。最后，基于场景的方法是用CNN的方式来实现特定场景下的ISP处理功能。

上述三种基于CNN的ISP算法均存在计算量大的问题。

发明内容

本公开的实施例提供了一种图像恢复模型的生成方法、装置、计算机可读存储介质及电子设备。

本公开的实施例提供了一种图像恢复模型的生成方法，该方法包括：利用待训练模型包括的数据预处理网络，对样本原始图像数据进行预处理，得到样本中间图像；利用待训练模型包括的图像恢复网络，对样本中间图像进行恢复，得到恢复后图像；基于预设的损失函数，确定表示恢复后图像与预设的基准图像之间的误差的损失值；基于损失值，调整待训练模型的参数；响应于调整参数后的待训练模型符合预设的训练结束条件，将调整参数后的待训练模型确定为图像恢复模型。

根据本公开实施例的另一个方面，提供了一种图像恢复方法，该方法包括：获取由图像传感器采集的原始图像数据；利用预先训练的图像恢复模型包括的数据预处理网络，对原始图像数据进行预处理，得到中间图像；利用预先训练的图像恢复模型包括的图像恢复网络，对中间图像进行恢复，得到恢复后图像。

根据本公开实施例的另一个方面，提供了一种图像恢复模型的生成装置，该装置包括：第一预处理模块，用于利用待训练模型包括的数据预处理网络，对样本原始图像数据进行预处理，得到样本中间图像；第一恢复模块，用于利用待训练模型包括的图像恢复网络，对样本中间图像进行恢复，得到恢复后图像；第一确定模块，用于基于预设的损失函数，确定表示恢复后图像与预设的基准图像之间的误差的损失值；调整模块，用于基于损失值，调整待训练模型的参数；第二确定模块，用于响应于调整参数后的待训练模型符合预设的训练结束条件，将调整参数后的待训练模型确定为图像恢复模型。

根据本公开实施例的另一个方面，提供了一种图像恢复装置，该装置包括：获取模块，用于获取由图像传感器采集的原始图像数据；第二预处理模块，用于利用预先训练的图像恢复模型包括的数据预处理网络，对原始图像数据进行预处理，得到中间图像；第二恢复模块，用于利用预先训练的图像恢复模型包括的图像恢复网络，对中间图像进行恢复，得到恢复后图像。

根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序用于执行上述图像恢复模型的生成方法或图像恢复方法。

根据本公开实施例的另一个方面，提供了一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指令以实现上述图像恢复模型的生成方法或图像恢复方法。

基于本公开上述实施例提供的图像恢复模型的生成方法及装置、图像恢复方法及装置、计算机可读存储介质及电子设备，通过利用待训练模型包括的数据预处理网络，对样本原始图像数据进行预处理，得到样本中间图像，然后利用待训练模型包括的图像恢复网络，对样本中间图像进行恢复，得到恢复后图像，最后基于预设的基准图像和恢复后图像，训练上述待训练模型，得到图像恢复模型。训练后的图像恢复模型实现了基于神经网络的ISP的功能，可以有针对性地利用预处理网络对原始图像数据进行预处理，再利用图像恢复网络实现图像恢复，无需使用目前ISP算法包含的众多模块对原始图像数据进行处理，降低了数据处理的复杂性，提高了图像恢复的效率。恢复后的图像可以应用在图像识别领域，无需使用众多ISP模块即可将原始图像数据恢复为图像识别领域所需的图像质量，有助于提高图像识别的效率。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本公开所适用的系统图。

图2是本公开一示例性实施例提供的图像恢复模型的生成方法的流程示意图。

图3是本公开的实施例提供的图像恢复模型的一个示例性结构图。

图4是本公开另一示例性实施例提供的图像恢复模型的生成方法的流程示意图。

图5是本公开另一示例性实施例提供的图像恢复模型的生成方法的流程示意图。

图6是本公开另一示例性实施例提供的图像恢复模型的生成方法的流程示意图。

图7是本公开另一示例性实施例提供的图像恢复模型的生成方法的流程示意图。

图8是本公开另一示例性实施例提供的图像恢复模型的生成方法的流程示意图。

图9是本公开一示例性实施例提供的图像恢复方法的流程示意图。

图10是本公开一示例性实施例提供的图像恢复模型的生成装置的结构示意图。

图11是本公开另一示例性实施例提供的图像恢复模型的生成装置的结构示意图。

图12是本公开一示例性实施例提供的图像恢复装置的结构示意图。

图13是本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

相关技术中，基于CNN端到端实现整个ISP流线的方法，目的是实现整个ISP流线的效果。未考虑到哪些模块对于图像识别领域(例如目标检测任务)而言是真正起作用的，计算量消耗巨大。

相关技术中，基于模块的方法直接用CNN网络来实现ISP中特定模块的功能，目的是实现相对传统ISP而言更优的效果。同样未针对图像识别领域来确定哪些模块是关键模块。计算量相对实现整个ISP流线有所减小，但计算量仍消耗较大。

相关技术中，基于场景的方法是用CNN的方式来实现特定场景下的ISP处理功能，比如暗光场景转亮光场景。同样存在未探索图像识别领域与哪些ISP模块强相关和计算量消耗大的问题。

图1示出了可以应用本公开的实施例的图像恢复模型的生成方法或图像恢复模型的生成装置，以及图像恢复方法或图像恢复装置的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101，网络102和服务器103。网络102用于在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用，例如图像处理应用、视频监控应用、网页浏览器应用等。

终端设备101可以是各种电子设备，包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。

服务器103可以是提供各种服务的服务器，例如利用终端设备101上传的样本原始图像数据进行模型训练的模型训练服务器。模型训练服务器可以利用接收到的样本原始图像数据，训练得到图像恢复模型。服务器103也可以是对终端设备101上传的原始图像数据进行图像恢复操作的服务器，该服务器可以设置训练后的图像恢复模型，利用图像恢复模型将原始图像数据进行恢复。

需要说明的是，本公开的实施例所提供的图像恢复模型的生成方法或图像恢复方法可以由服务器103执行，也可以由终端设备101执行，相应地，图像恢复模型的生成装置或图像恢复装置可以设置于服务器103中，也可以设置于终端设备101中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在用于进行模型训练的样本原始图像数据或用于进行图像恢复的原始图像数据不需要从远程获取的情况下，上述系统架构可以不包括网络，只包括服务器或终端设备。

图2是本公开一示例性实施例提供的图像恢复模型的生成方法的流程示意图。本实施例可应用在电子设备(如图1所示的终端设备101或服务器103)上，如图2所示，该方法包括如下步骤：

步骤201，利用待训练模型包括的数据预处理网络，对样本原始图像数据进行预处理，得到样本中间图像。

在本实施例中，电子设备可以利用待训练模型包括的数据预处理网络，对样本原始图像数据进行预处理，得到样本中间图像。其中，待训练模型可以是预先设置的未经过训练的机器学习模型，也可以是未训练完成的机器学习模型。如图3所示，待训练模型301包括数据预处理网络3011和图像恢复网络3012。数据预处理网络用于对样本原始图像数据进行预处理，以得到包含多个颜色通道的图像作为样本中间图像。

通常，样本原始图像数据可以是相机的感光传感器(例如CMOS传感器)采集的数据。如图3所示，样本原始图像数据302为单通道数据，其包括的RGB颜色值分布在该单通道内。数据预处理网络3011可以将样本原始图像数据302转换为RGB三通道的样本中间图像303。

步骤202，利用待训练模型包括的图像恢复网络，对样本中间图像进行恢复，得到恢复后图像。

在本实施例中，电子设备可以利用待训练模型包括的图像恢复网络，对样本中间图像进行恢复，得到恢复后图像。其中，图像恢复网络可以包括深度神经网络，图像恢复网络可以从样本中间图像中提取特征图像特征(例如纹理特征、线条形状特征等)，根据图像特征调整RGB三通道的颜色值，得到恢复后图像。

如图3所示，样本中间图像303经过图像恢复网络3012进行恢复，得到恢复后图像304。

步骤203，基于预设的损失函数，确定表示恢复后图像与预设的基准图像之间的误差的损失值。

在本实施例中，电子设备可以基于预设的损失函数，确定表示恢复后图像与预设的基准图像之间的误差的损失值。其中，基准图像即进行图像恢复的参考图像，图像恢复的目标为使恢复后图像与基准图像之间的误差最小。

损失函数可以为各种类型，例如现有的L1损失函数，L2损失函数等。通过损失函数，可以计算得到损失值，该损失值表示恢复后图像包括的各通道的颜色值与基准图像包括的各通道的颜色值之间的误差。

步骤204，基于损失值，调整待训练模型的参数。

在本实施例中，电子设备可以基于损失值，调整待训练模型的参数。

模型的训练过程是一个最优解求解过程，其中，最优解通过数据标注的方式给出，在本实施例中即基准图像包括的各通道的颜色值。模型向最优解拟合的过程主要是通过误差最小化的办法迭代进行。对于一组输入的样本原始图像数据，设定一个损失函数，该损失函数可以计算模型的实际输出(即恢复后图像)与期望输出(即基准图像)之间的差距，并通过反向传播算法将该差距传导到神经网络中的每一个神经元之间的连接上，传导到每一个连接上的差值信号代表该连接对于整体误差的贡献率。然后利用梯度下降算法对原有模型参数进行更新修改即可。

需要说明的是，上述数据预处理网络的参数是预先设置好的，因此，在模型训练过程中，只需调整图像恢复网络的参数。

通过反复执行步骤201-步骤204，即利用多组训练样本(包括样本原始图像数据和对应的基准图像)对模型进行迭代训练，每次迭代训练后的模型即为下次训练的待训练模型。

步骤205，响应于调整参数后的待训练模型符合预设的训练结束条件，将调整参数后的待训练模型确定为图像恢复模型。

在本实施例中，电子设备可以响应于调整参数后的待训练模型符合预设的训练结束条件，将调整参数后的待训练模型确定为图像恢复模型。

具体地，利用多组训练样本反复执行步骤201-步骤204对模型进行迭代训练，每次训练后确定当前的模型是否符合训练结束条件。当符合训练结束条件时，当前调整参数后的模型即为训练好的图像恢复模型。其中，训练结束条件可以包括但不限于以下至少一项：上述损失函数的损失值收敛，训练时间超过预设时长，训练次数超过预设次数。

本公开的上述实施例提供的方法，通过利用待训练模型包括的数据预处理网络，对样本原始图像数据进行预处理，得到样本中间图像，然后利用待训练模型包括的图像恢复网络，对样本中间图像进行恢复，得到恢复后图像，最后基于预设的基准图像和恢复后图像，训练上述待训练模型，得到图像恢复模型。训练后的图像恢复模型实现了在基于神经网络的ISP算法中，有针对性地利用预处理网络对原始图像数据进行预处理，再利用图像恢复网络实现图像恢复，无需使用目前ISP算法包含的众多模块对原始图像数据进行处理，降低了数据处理的复杂性，提高了图像恢复的效率。恢复后的图像可以应用在图像识别领域，无需使用众多ISP模块即可将原始图像数据恢复为图像识别领域所需的图像质量，有助于提高图像识别的效率。

在一些可选的实现方式中，如图4所示，在步骤201之前，该方法还可以包括：

步骤401，从实现完整的图像信号处理流程的功能模块集合中选择至少一个目标功能模块。

其中，完整的图像信号处理(ISP)流程的功能模块集合即实现传统的ISP方法的大量功能模块的集合，例如可以包括如图3所示的原始图像数据转换子网络30111和亮度矫正子网络30121，还可以包括白平衡模块、去噪模块、色彩校正模块、颜色空间转换模块等。

通常，可以预先设置至少一个功能模块组合，每个功能模块组合包括至少一个功能模块，因此，电子设备可以从上述至少一个功能模块组合中，依次选择一个功能模块组合，将当前选择的功能模块组合包括的功能模块作为上述至少一个目标功能模块。

步骤402，基于预设的测试场景，对至少一个目标功能模块进行性能测试，得到测试结果。

其中，上述测试场景可以根据实际的图像处理任务设置。例如，对于目标检测任务，可以利用至少一个目标功能模块对样本图像进行处理，得到中间结果图像，再利用中间结果图像训练目标检测模型，得到待测试目标检测模型。然后，利用测试数据集对待测试目标检测模型进行性能测试，得到测试结果。例如，测试结果可以是上述待测试目标检测模型的检测准确率。

步骤403，响应于确定测试结果符合预设条件，基于至少一个目标功能模块构建待训练模型。

其中，预设条件用于表示测试结果是否达到在上述测试场景下的性能指标。例如，可以将利用完整的ISP流程(即上述功能模块集合)得到的中间结果图像进行训练的基准目标检测模型的基准测试结果与上述测试结果进行比较，若两者的误差小于或等于预设误差阈值，确定符合预设条件。

作为示例，至少一个目标功能模块可以包括原始图像数据转换模块和亮度矫正模块，基于此，即可以构建如图3所示的包括原始图像数据转换子网络30111和亮度矫正子网络30121的待训练模型。需要说明的是，图3所示的缩放子网络30112是基于待训练模型的实际应用场景设置的，例如待训练模型应用于目标检测任务时，缩放子网络可以使恢复后图像的尺寸满足目标检测模型对输入图像的尺寸要求。

本实施例通过从实现完整的ISP流程的功能模块集合中选择至少一个目标功能模块，基于至少一个目标功能模块构建待训练模型，相比于相关技术中需要完整的ISP流程进行图像恢复，本实施例只需执行完整的ISP流程的一部分功能，即可实现高质量的图像恢复，从而简化了图像恢复的处理步骤，提高了图像恢复的效率。

在一些可选的实现方式中，上述至少一个目标功能模块包括原始图像数据转换模块。原始图像数据转换模块用于将相机的感光传感器采集的原始图像数据包括的各种颜色值(例如RGB值)分离，并基于分离的颜色值生成多通道图像。基于此，上述步骤403可以包括：

基于原始图像数据转换模块，生成数据预处理网络包括的原始图像数据转换子网络。

具体地，可以将原始图像数据转换模块设置在待训练模型的数据预处理网络中，将该原始图像数据转换模块作为待训练模型包括的原始图像数据转换子网络。

如图5所示，步骤201可以包括：

步骤2011，利用原始图像数据转换子网络，将样本原始图像数据转换为多通道原始图像。

具体地，样本原始图像数据为相机的感光传感器采集的原始图像数据，其包括的RGB颜色值以一定的规则混合在一个通道中。本步骤可以将一个通道中的GRB颜色值分离为R、G、B三个通道，由于分离后的每个通道的尺寸与分离前的原始图像数据的尺寸相同，因此，可以对每个通道进行插值处理，以填充每个通道中的空缺数据。

可选的，可以利用现有的Demosaic算法，对R、G、B三个通道进行插值，得到多通道原始图像。如图3所示，数据预处理网络可以包括原始图像数据转换子网络30111，该原始图像数据转换子网络30111可以实现Demosaic算法，用于对样本原始图像数据302进行通道分离并插值，得到多通道原始图像305。

步骤2012，基于多通道原始图像，生成样本中间图像。

可选的，可以将插值后生成的多通道原始图像确定为样本中间图像。

本实施例通过原始图像数据转换子网络将样本原始图像数据转换为多通道原始图像，并根据多通道原始图像生成样本中间图像，为后续的图像恢复提供了较高质量的样本中间图像，且无需利用现有的众多ISP模块进行复杂的数据处理，提高了图像恢复的效率。

在一些可选的实现方式中，数据预处理网络还包括缩放子网络，其中，缩放子网络用于将多通道原始图像的原尺寸调整为目标尺寸。

步骤2012可以如下执行：

利用缩放子网络，将多通道原始图像的原尺寸调整为目标尺寸，得到样本中间图像。

其中，目标尺寸可以是基于后续对恢复后图像进行进一步处理的场景所设定的尺寸。例如，对于目标检测任务，恢复后图像的尺寸可以小于等于预设尺寸，因此，可以将多通道原始图像的尺寸缩小，使其与目标检测任务适应。

如图3所示，数据预处理网络可以包括缩放子网络30112，对多通道原始图像305调整尺寸，得到样本中间图像303。本实施例通过调整多通道原始图像的尺寸，可以使训练后的图像恢复模型输出的恢复后图像的尺寸与其被应用的场景适应，同时通过缩小多通道原始图像的尺寸，可以降低生成后的图像恢复模型的计算复杂度，从而提高模型整体的处理速度，以达到针对检测感知任务具有更高效的图像恢复的技术效果。

在一些可选的实现方式中，上述至少一个目标功能模块包括亮度矫正模块。其中，亮度矫正模块用于按照设置的矫正参数对图像进行亮度矫正。

基于此，上述步骤403可以包括：

基于亮度矫正模块，生成图像恢复网络包括的亮度矫正子网络。

具体地，可以将亮度矫正模块设置在待训练模型的图像恢复网络中，将该亮度矫正模块作为待训练模型包括的亮度矫正子网络。

如图6所示，步骤202包括：

步骤2021，利用图像恢复网络包括的亮度矫正子网络，对样本中间图像进行亮度矫正，得到矫正后图像。

具体地，相机的感光传感器对光线的响应和人眼对光线的响应是不同的，人眼对暗部细节比感光传感器敏感，亮度矫正子网络的功能就是使得矫正后图像在显示时符合人眼的特性。如图3所示，图像恢复网络3012包括的亮度矫正子网络30121，其对样本中间图像303进行亮度矫正，得到矫正后图像306。

可选的，亮度矫正子网络可以实现目前的Gamma矫正方法，Gamma矫正就是对图像的Gamma曲线进行编辑，检出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度效果，增加更多的暗部色阶，以对图像进行非线性色调编辑。

Gamma曲线是一种特殊的色调曲线，Gamma曲线如下式(1)所示的Gamma函数表示：

y＝x

其中，x表示矫正前的图像亮度，y表示矫正后的图像亮度。当γ值等于1的时候，曲线为与坐标轴成45°的直线，这个时候表示输入和输出亮度相同。高于1的γ值将会造成输出亮化，低于1的γ值将会造成输出暗化。模型训练的过程可以实现自适应地确定出一个γ值，训练后的模型在进行图像恢复时根据该γ值对图像进行亮度矫正。

步骤2022，利用图像恢复网络包括的图像恢复子网络，对矫正后图像进行恢复，得到恢复后图像。

图像恢复子网络可以由深度神经网络构成，图像恢复子网络可以从矫正后图像中提取特征图像特征，根据图像特征调整RGB三通道的颜色值，得到恢复后图像。如图3所示，图像恢复网络3012包括的图像恢复子网络30122，其对矫正后图像306进行恢复，得到恢复后图像304。本实施例通过设置亮度矫正子网络，可以实现对样本中间图像进行亮度矫正，利用经过亮度矫正后的图像进行图像恢复，即可得到满足图像识别的恢复后图像，相比于现有的ISP算法，无需使用诸如白平衡，去噪，色彩校正，颜色空间转换等ISP模块进行复杂的运算即可得到高质量的恢复后图像，从而进一步降低了图像恢复的数据处理复杂性。

在一些可选的实现方式中，如图7所示，步骤2022包括如下子步骤：

步骤20221，利用图像恢复子网络包括的第一子网络，对矫正后图像包括的目标通道进行恢复，得到第一恢复后图像。

其中，目标通道是矫正后图像包括的多个通道中的一个，目标通道通常是样本原始图像数据中所占比例最大的一类颜色值。通常，样本原始图像数据中，属于G通道的数据的占比最大(通常为50％)，因此，G通道可以为目标通道。图像恢复子网络包括第一子网络和第二子网络，由第一子网络首先对G通道进行恢复，第二子网络再对其他通道进行恢复。

如图3所示，矫正后图像306经过图像恢复子网络30122包括的第一子网络，对G通道数据进行恢复，得到包含恢复后的G通道的第一恢复后图像307。需要说明的是，第一恢复后图像也包括R通道数据和B通道数据，且R通道和B通道由于也经过了卷积运算，因此，相比矫正后图像的R通道数据和B通道数据产生了变化，但并未经过针对性地恢复处理。

步骤20222，利用图像恢复子网络包括的第二子网络，对第一恢复后图像进行恢复，得到第二恢复后图像。

由于目标通道的数据量大于其他通道，因此，目标通道包含了更多的图像特征，恢复后的目标通道可以在恢复其他通道时提供更多的信息，例如恢复后的目标通道由于包含的更多的纹理细节，可以提高其他通道恢复的准确性。

如图3所示，第一恢复后图像307经过图像恢复子网络30122包括的第二子网络，对第一恢复后图像307的RGB通道数据均进行恢复，得到的第二恢复后图像即为上述恢复后图像304。

可选的，上述第一子网络和第二子网络可以采用现有的轻量化网络结构，请量化网络结构通常包含浅层网络，可以降低网络结构的复杂性，提高图像恢复处理的效率。作为示例，上述第一子网络和第二子网络可以采用现有的深度可分离卷积(DepthwiseConv)与逐点卷积(PointwiseConv)的组合。

步骤20223，基于第二恢复后图像，得到恢复后图像。

可选的，可以将第二恢复后图像作为上述恢复后图像。或者，可以对第二恢复图像进行进一步处理(例如降噪等)，得到上述恢复后图像。

本实施例通过首先对矫正后图像包括的目标通道进行恢复，再在得到的第一恢复后图像的基础上，对其他通道进行恢复，可以充分利用包含更多图像特征的目标通道的数据，使最终得到的恢复后图像更接近真实的场景。

在一些可选的实现方式中，预设的损失函数包括第一损失函数和第二损失函数。其中，第一损失函数和第二损失函数的类型可以根据需要设定。例如，第一损失函数和第二损失函数可以为L1损失函数、L2损失函数等。

如图8所示，步骤203包括：

步骤2031，基于第一损失函数，确定表示第一恢复后图像的目标通道与基准图像的目标通道之间的误差的第一损失值。

若目标通道为G通道，第一损失函数的类型可以为L1损失函数，第一损失函数可以表示为：

其中，n为第一恢复后图像的目标通道包括的像素的数量，与基准图像包括的像素的数量相等，y

经过计算得到的第一损失值可以表示第一恢复后图像的G通道与基准图像的G通道之间的误差。

如图3所示，将第一恢复后图像307的G通道数据3071被单独提取出，基于上述第一损失函数，计算得到第一损失值LossG。

步骤2032，基于第二损失函数，确定表示第二恢复后图像与基准图像之间的误差的第二损失值。

第二损失值的计算过程利用了第二恢复后图像和基准图像的所有通道的颜色值，因此，第二损失函数计算得到的第二损失值可以表示为LossRGB，类似的，可以利用上述式(2)，分别计算第二恢复后图像与基准图像的R通道、G通道、B通道之间的误差，再计算三个通道的误差的平均值作为第二损失值。

如图3所示，按照第二损失函数，对第二恢复后图像(即上述恢复后图像304)的RGB通道数据与基准图像的RGB通道数据进行损失值计算，得到第二损失值LossRGB。

步骤2033，基于第一损失值和第二损失值，确定表示恢复后图像与基准图像之间的误差的损失值。

可选的，可以将第一损失值和第二损失值相加，得到表示恢复后图像与基准图像之间的误差的损失值，或者，可以基于预设的权重，对第一损失值和第二损失值进行加权求和，得到表示恢复后图像与基准图像之间的误差的损失值。

本实施例通过设置第一损失函数和第二损失函数，可以在模型训练过程中对第一恢复子网络和第二恢复子网络进行参数调整，当损失值收敛时，表示第一恢复子网络对目标通道的数据恢复能力达到最佳，同时第二恢复子网络基于恢复后的目标通道对其他通道的数据恢复能力达到最佳，从而有助于提高图像恢复的准确性。

图9是本公开一示例性实施例提供的图像恢复方法的流程示意图。本实施例可应用在电子设备(如图1所示的终端设备101或服务器103)上，如图9所示，该方法包括如下步骤：

步骤901，获取由图像传感器采集的原始图像数据。

在本实施例中，电子设备可以从本地或从远程获取由图像传感器采集的原始图像数据。其中，图像传感器可以是上述电子设备包含的相机内的感光传感器，或者是与上述电子设备连接的相机内的感光传感器。

步骤902，利用预先训练的图像恢复模型包括的数据预处理网络，对原始图像数据进行预处理，得到中间图像。

在本实施例中，电子设备可以利用预先训练的图像恢复模型包括的数据预处理网络，对原始图像数据进行预处理，得到中间图像。

其中，图像恢复模型是根据上述图2对应实施例训练得到的模型。图像恢复模型包括的数据预处理网络和图像恢复网络可以参考上述图2对应实施例，这里不再赘述。

步骤903，利用预先训练的图像恢复模型包括的图像恢复网络，对中间图像进行恢复，得到恢复后图像。

在本实施例中，电子设备可以利用预先训练的图像恢复模型模型包括的图像恢复网络，对中间图像进行恢复，得到恢复后图像。通常，得到的恢复后图像可以被用来进行图像识别，例如，可以对恢复后图像进行目标检测，确定目标对象(例如人体、动物、车辆等)在恢复后图像中的位置和类别。

上述图9对应实施例提供的方法，通过利用预先训练的图像恢复模型对原始图像数据进行图像恢复，实现了基于神经网络的ISP的功能，无需使用目前ISP算法包含的众多模块对原始图像数据进行处理，降低了数据处理的复杂性，提高了图像恢复的效率。恢复后的图像可以应用在图像识别领域，无需使用众多ISP模块即可将原始图像数据恢复为图像识别领域所需的图像质量，有助于提高图像识别的效率。

图10是本公开一示例性实施例提供的图像恢复模型的生成装置的结构示意图。本实施例可应用在电子设备上，如图10所示，图像恢复模型的生成装置包括：第一预处理模块1001，用于利用待训练模型包括的数据预处理网络，对样本原始图像数据进行预处理，得到样本中间图像；第一恢复模块1002，用于利用待训练模型包括的图像恢复网络，对样本中间图像进行恢复，得到恢复后图像；第一确定模块1003，用于基于预设的损失函数，确定表示恢复后图像与预设的基准图像之间的误差的损失值；调整模块1004，用于基于损失值，调整待训练模型的参数；第二确定模块1005，用于响应于调整参数后的待训练模型符合预设的训练结束条件，将调整参数后的待训练模型确定为图像恢复模型。

在本实施例中，第一预处理模块1001可以利用待训练模型包括的数据预处理网络，对样本原始图像数据进行预处理，得到样本中间图像。其中，待训练模型可以是预先设置的未经过训练的机器学习模型，也可以是未训练完成的机器学习模型。如图3所示，待训练模型301包括数据预处理网络3011和图像恢复网络3012。数据预处理网络用于对样本原始图像数据进行预处理，以得到包含多个颜色通道的图像作为样本中间图像。

在本实施例中，第一恢复模块1002可以利用待训练模型包括的图像恢复网络，对样本中间图像进行恢复，得到恢复后图像。其中，图像恢复网络可以包括深度神经网络，图像恢复网络可以从样本中间图像中提取特征图像特征(例如纹理特征、线条形状特征等)，根据图像特征调整RGB三通道的颜色值，得到恢复后图像。

在本实施例中，第一确定模块1003可以基于预设的损失函数，确定表示恢复后图像与预设的基准图像之间的误差的损失值。其中，基准图像即进行图像恢复的参考图像，图像恢复的目标即使恢复后图像与基准图像之间的误差最小。

损失函数可以为各种类型，例如现有的L1损失函数，L2损失函数等。通过损失函数，可以计算得到损失值，该损失值表示恢复后图像包括的各通道的颜色值与基准图像包括的各通道的颜色值之间的误差。

在本实施例中，调整模块1004可以基于损失值，调整待训练模型的参数。

模型的训练过程是一个最优解求解过程，其中，最优解通过数据标注的方式给出，在本实施例中即基准图像包括的各通道的颜色值。模型向最优解拟合的过程主要是通过误差最小化的办法迭代进行。对于一组输入的样本原始图像数据，设定一个损失函数，该损失函数可以计算模型的实际输出(即恢复后图像)与期望输出(即基准图像)之间的差距，并通过反向传播算法将该差距传导到神经网络中的每一个神经元之间的连接上，传导到每一个连接上的差值信号代表该连接对于整体误差的贡献率。然后利用梯度下降算法对原有模型参数进行更新修改即可。

在本实施例中，第二确定模块1005可以响应于调整参数后的待训练模型符合预设的训练结束条件，将调整参数后的待训练模型确定为图像恢复模型。

具体地，利用多组训练样本反复对模型进行迭代训练，每次训练后确定当前的模型是否符合训练结束条件。当符合训练结束条件时，当前调整参数后的模型即为训练好的图像恢复模型。其中，训练结束条件可以包括但不限于以下至少一项：上述损失函数的损失值收敛，训练时间超过预设时长，训练次数超过预设次数。

参照图11，图11是本公开另一示例性实施例提供的图像恢复模型的生成装置的结构示意图。

在一些可选的实现方式中，该装置还包括：选择模块1006，用于从实现完整的图像信号处理流程的功能模块集合中选择至少一个目标功能模块；测试模块1007，用于基于预设的测试场景，对至少一个目标功能模块进行性能测试，得到测试结果；构建模块1008，用于响应于确定测试结果符合预设条件，基于至少一个目标功能模块构建待训练模型。

在一些可选的实现方式中，至少一个目标功能模块包括原始图像数据转换模块；构建模块1008包括：第一构建单元10081，用于基于原始图像数据转换模块，生成数据预处理网络包括的原始图像数据转换子网络；第一预处理模块1001包括：转换单元10011，用于利用原始图像数据转换子网络，将样本原始图像数据转换为多通道原始图像；生成单元10012，用于基于多通道原始图像，生成样本中间图像。

在一些可选的实现方式中，数据预处理网络还包括缩放子网络；生成单元10012进一步用于：利用缩放子网络，将多通道原始图像的原尺寸调整为目标尺寸，得到样本中间图像。

在一些可选的实现方式中，至少一个目标功能模块包括亮度矫正模块；构建模块1008包括：第二构建单元10082，用于基于亮度矫正模块，生成图像恢复网络包括的亮度矫正子网络；第一恢复模块1002包括：矫正单元10021，用于利用图像恢复网络包括的亮度矫正子网络，对样本中间图像进行亮度矫正，得到矫正后图像；恢复单元10022，用于利用图像恢复网络包括的图像恢复子网络，对矫正后图像进行恢复，得到恢复后图像。

在一些可选的实现方式中，恢复单元10022包括：第一恢复子单元100221，用于利用图像恢复子网络包括的第一子网络，对矫正后图像包括的目标通道进行恢复，得到第一恢复后图像；第二恢复子单元100222，用于利用图像恢复子网络包括的第二子网络，对第一恢复后图像进行恢复，得到第二恢复后图像；生成子单元100223，用于基于第二恢复后图像，得到恢复后图像。

在一些可选的实现方式中，预设的损失函数包括第一损失函数和第二损失函数；第一确定模块1003包括：第一确定单元10031，用于基于第一损失函数，确定表示第一恢复后图像的目标通道与基准图像的目标通道之间的误差的第一损失值；第二确定单元10032，用于基于第二损失函数，确定表示第二恢复后图像与基准图像之间的误差的第二损失值；第三确定单元10033，用于基于第一损失值和第二损失值，确定表示恢复后图像与基准图像之间的误差的损失值。

本公开上述实施例提供的图像恢复模型的生成装置，通过利用待训练模型包括的数据预处理网络，对样本原始图像数据进行预处理，得到样本中间图像，然后利用待训练模型包括的图像恢复网络，对样本中间图像进行恢复，得到恢复后图像，最后基于预设的基准图像和恢复后图像，训练上述待训练模型，得到图像恢复模型。训练后的图像恢复模型实现了在基于神经网络的ISP算法中，有针对性地利用预处理网络对原始图像数据进行预处理，再利用图像恢复网络实现图像恢复，无需使用目前ISP算法包含的众多模块对原始图像数据进行处理，降低了数据处理的复杂性，提高了图像恢复的效率。恢复后的图像可以应用在图像识别领域，无需使用众多ISP模块即可将原始图像数据恢复为图像识别领域所需的图像质量，有助于提高图像识别的效率。

图12是本公开一示例性实施例提供的图像恢复装置的结构示意图。本实施例可应用在电子设备上，如图12所示，图像恢复装置包括：获取模块1201，用于获取由图像传感器采集的原始图像数据；第二预处理模块1202，用于利用预先训练的图像恢复模型包括的数据预处理网络，对原始图像数据进行预处理，得到中间图像；第二恢复模块1203，用于利用预先训练的图像恢复模型包括的图像恢复网络，对中间图像进行恢复，得到恢复后图像。

在本实施例中，获取模块1201可以从本地或从远程获取由图像传感器采集的原始图像数据。其中，图像传感器可以是上述电子设备包含的相机内的感光传感器，或者是与上述电子设备连接的相机内的感光传感器。

在本实施例中，第二预处理模块1202可以利用预先训练的图像恢复模型包括的数据预处理网络，对原始图像数据进行预处理，得到中间图像。

其中，图像恢复模型是根据上述图2对应实施例训练得到的模型。图像恢复模型包括的数据预处理网络和图像恢复网络可以参考上述图2对应实施例，这里不再赘述。

在本实施例中，第二恢复模块1203可以利用预先训练的图像恢复模型模型包括的图像恢复网络，对中间图像进行恢复，得到恢复后图像。通常，得到的恢复后图像可以被用来进行图像识别，例如，可以对恢复后图像进行目标检测，确定目标对象(例如人体、动物、车辆等)在恢复后图像中的位置和类别。

本公开上述实施例提供的图像恢复装置，通过利用预先训练的图像恢复模型对原始图像数据进行图像恢复，实现了基于神经网络的ISP的功能，无需使用目前ISP算法包含的众多模块对原始图像数据进行处理，降低了数据处理的复杂性，提高了图像恢复的效率。恢复后的图像可以应用在图像识别领域，无需使用众多ISP模块即可将原始图像数据恢复为图像识别领域所需的图像质量，有助于提高图像识别的效率。

下面，参考图13来描述根据本公开实施例的电子设备。该电子设备可以是如图1所示的终端设备101和服务器103中的任一个或两者、或与它们独立的单机设备，该单机设备可以与终端设备101和服务器103进行通信，以从它们接收所采集到的输入信号。

图13示出了根据本公开实施例的电子设备的框图。

如图13所示，电子设备1300包括一个或多个处理器1201和存储器1202。

处理器1301可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1300中的其他组件以执行期望的功能。

存储器1302可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1301可以运行程序指令，以实现上文的本公开的各个实施例的图像恢复模型的生成方法或图像恢复方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如原始图像数据、恢复后图像等各种内容。

在一个示例中，电子设备1300还可以包括：输入装置1303和输出装置1304，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是终端设备101或服务器103时，该输入装置1303可以是相机、鼠标、键盘等设备，用于输入原始图像数据、各种命令等内容。在该电子设备是单机设备时，该输入装置1303可以是通信网络连接器，用于从终端设备101和服务器103接收所输入的原始图像数据、各种命令等内容。

该输出装置1304可以向外部输出各种信息，包括恢复后图像等。该输出装置1304可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出装置等等。

当然，为了简化，图13中仅示出了该电子设备1300中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1300还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的图像恢复模型的生成方法或图像恢复方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的图像恢复模型的生成方法或图像恢复方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。