学习设备、图像生成设备、学习方法、图像生成方法和程序

摘要

提供一种学习设备、图像生成设备、学习方法、图像生成方法和程序，其能够提高要生成的广角图像中的高亮度区域的估计精度。第二训练数据获取单元(64)获取输入图像。广角图像生成单元(28)根据输入图像的输入生成生成的广角图像，生成的广角图像具有比所述输入图像更宽的视角。第二训练数据获取单元(64)获取要与生成的广角图像进行对比的对比广角图像。第二学习单元(66)基于生成的广角图像和对比广角图像之间的对比结果，通过更新广角图像生成单元(28)的参数值来训练广角图像生成单元(28)，以便根据对比广角图像中像素的亮度或生成的广角图像中像素的亮度，增加所述像素的参数值的更新幅度。

说明书

技术领域

本发明涉及学习设备、图像生成设备、学习方法、图像生成方法和程序。

背景技术

已知用于IBL(基于图像的照明)的技术，其用于使用基于实景真人图像而设置的光源来生成真实CG(计算机图形)图像以及CG图像和实景真人图像的合成图像。

为了增强生成图像的真实性，在IBL中，希望基于诸如HDR(高动态范围)360度图像的广角图像来设置光源。然而，为了获得这样的广角图像，必须使用诸如全天空相机或半天空相机之类的专用设备进行拍摄，而且还需要专业知识。

因此，代替通过拍摄来生成这样的广角图像，而使用由经学习的机器学习模型等实现的图像生成单元来生成广角图像。在这种情况下，响应于将由常用相机拍摄的图像输入到图像生成单元中，生成广角图像，其中补充了对于相关图像的视角之外的环境的估计结果(例如，相关图像的视角之外的对象、场景等)。

发明内容

[技术问题]

然而，用于以如上所述的方式生成广角图像的这种相关技术不能适当地估计高亮度部分，因此，在一些情况下，高亮度部分被布置在广角图像中的非自然位置的情况、或者相反地，高亮度部分没有被布置在其要被布置的位置的情况会发生。结果，在某些情况下，例如，会发生IBL中的光源设置是不自然的情况。

本发明是鉴于上述问题做出的，并且本发明的目的之一是提供一种学习设备、图像生成设备、学习方法、图像生成方法和程序，其能够提高所生成的广角图像中的高亮度部分的估计的精度。

[问题解决方案]

为了解决上述问题，根据本发明的学习设备包括：输入图像获取部分，其获取输入图像；广角图像生成部分，其响应于所述输入图像的输入生成生成的广角图像，所述生成的广角图像是具有比所述输入图像更宽视角的图像；对比广角图像获取部分，其获取作为要与所述生成的广角图像进行对比的图像的对比广角图像；以及广角图像生成学习部分，其基于所述生成的广角图像和所述对比广角图像之间的对比结果，通过更新所述广角图像生成部分的参数值来对所述广角图像生成部分执行学习，使得根据所述对比广角图像中像素的亮度水平或所述生成的广角图像中像素的亮度水平，增加关于所述像素的所述参数值的更新量。

在本发明的一个方面中，学习设备还包括：HDR图像生成部分，其响应于标准动态范围图像的输入，生成作为高动态范围图像的生成的HDR图像；对比HDR图像获取部分，其获取要与所述生成的HDR图像进行对比的作为高动态范围图像的对比HDR图像；以及HDR图像生成学习部分，其基于所述生成的HDR图像和所述对比HDR图像之间的对比结果，通过更新所述HDR图像生成部分的参数值来对所述HDR图像生成部分执行学习，其中，所述输入图像获取部分获取由经学习的HDR图像生成部分生成的所述生成的HDR图像作为所述输入图像。

此外，根据本发明的图像生成设备包括：图像获取部分，其获取标准动态范围图像；HDR图像生成部分，其响应于所述标准动态范围图像的输入，生成高动态范围图像；以及广角图像生成部分，响应于所述高动态范围图像的输入，生成具有比所述高动态范围图像更宽视角的广角图像。

在本发明的一个方面中，所述广角图像生成部分是经学习的机器学习模型，基于生成的广角图像和对比广角图像之间的对比结果、通过更新所述广角图像生成部分的参数值来执行学习，所述生成的广角图像是所述广角图像生成部分响应于所述输入图像的输入而生成的，并且所述对比广角图像要与所述生成的广角图像进行对比。

在这方面，所述广角图像生成部分是经学习的机器学习模型，通过更新所述广角图像生成部分的参数值来执行学习，使得根据所述对比广角图像中像素的亮度水平或者所述生成的广角图像中像素的亮度水平，增加关于所述像素的参数值的更新量

此外，在本发明的一个方面中，所述HDR图像生成部分是经学习的机器学习模型，基于所述高动态范围图像和高动态范围图像之间的对比结果，通过更新所述HDR图像生成部分的参数值来执行学习，所述高动态范围图像是所述HDR图像生成部分响应于所述标准动态范围图像的输入而生成的，并且所述高动态范围图像要与所述高动态范围图像进行对比。

此外，根据本发明的学习方法包括：获取输入图像的步骤；响应于所述输入图像的输入，使用广角图像生成部分来生成生成的广角图像的步骤，所述生成的广角图像是具有比所述输入图像更宽视角的图像；获取作为要与所述生成的广角图像进行对比的图像的对比广角图像的步骤；以及基于所述生成的广角图像和所述对比广角图像之间的对比结果，通过更新所述广角图像生成部分的参数值，对所述广角图像生成部分执行学习的步骤，使得根据所述对比广角图像中像素的亮度水平或者所述生成的广角图像中像素的亮度水平，增加关于所述像素的参数值的更新量。

此外，根据本发明的图像生成方法包括：获取标准动态范围图像的步骤；响应于所述标准动态范围图像的输入，生成高动态范围图像的步骤；以及响应于所述高动态范围图像的输入，生成具有比所述高动态范围图像更宽视角的广角图像的步骤。

此外，根据本发明的程序使计算机执行：获取输入图像的处理；响应于所述输入图像的输入，使用广角图像生成部分来生成生成的广角图像的处理，所述生成的广角图像是具有比所述输入图像更宽视角的图像；获取作为要与所述生成的广角图像进行对比的图像的对比广角图像的处理；以及基于所述生成的广角图像和所述对比广角图像之间的对比结果，通过更新所述广角图像生成部分的参数值，对所述广角图像生成部分执行学习的处理，使得根据所述对比广角图像中像素的亮度水平或者所述生成的广角图像中像素的亮度水平，增加关于所述像素的参数值的更新量。

此外，根据本发明的另一程序使计算机执行获取标准动态范围图像的处理；响应于所述标准动态范围图像的输入，生成高动态范围图像的处理；以及响应于所述高动态范围图像的输入，生成具有比所述高动态范围图像更宽视角的广角图像的处理。

附图说明

图1是根据本发明实施例的图像处理设备的配置图。

图2是示出根据本发明实施例的第一学习的示例的图。

图3是示出根据本发明实施例的第二学习的示例的图。

图4是示意性地示出学习输入HDR图像的示例的图。

图5是示意性地示出对比广角图像的示例的图。

图6是示意性地示出生成的广角图像的示例的图。

图7是示出权重图的示例的图。

图8是示出根据本发明实施例的图像生成的示例的图。

图9是示出根据本发明实施例的图像处理设备实现的功能的示例的功能框图。

图10是示出根据本发明实施例的图像处理设备执行的学习处理流程的示例的流程图。

图11是示出根据本发明实施例的图像处理设备执行的学习处理流程的示例的流程图。

图12是示出根据本发明实施例的图像处理设备执行的学习处理流程的示例的流程图。

图13是示出由根据本发明实施例的图像处理设备执行的用于生成目标广角的处理的流程的示例的流程图。

具体实施方式

以下，将基于附图详细描述本发明的实施例。

图1是根据本实施例的图像处理设备10的配置图。根据本实施例的图像处理设备10是诸如游戏机、个人计算机等的计算机。如图1所示，根据本实施例的图像处理设备10包括例如处理器12、存储部分14、操作部分16和显示部分18。

处理器12是诸如CPU(中央处理单元)的程序控制设备，其根据例如安装在图像处理设备10中的程序运行。

存储部分14是诸如ROM(只读存储器)、RAM(随机存取存储器)、硬盘驱动器等的存储元件。存储部分14存储由处理器12执行的程序等。

操作部分16是包括键盘、鼠标设备、游戏机的控制器等的用户界面，并且在接收到用户输入的操作时，输出指示输入到处理器12的操作内容的信号。

显示部分18是诸如液晶显示器的显示设备，并且根据来自处理器12的指令显示各种图像。

注意，图像处理设备10可以包括诸如网络板卡的通信接口、用于读取诸如DVD(数字多功能光盘)-ROM或蓝光(注册商标)光盘的光盘驱动器和USB(通用串行总线)端口。

根据本实施例的图像处理设备10实现经学习的机器学习模型。此外，使用机器学习模型生成图像，其中基于平面图像(二维图像)，补充在平面图像的视角之外的对象和场景。这里，可以例如基于每个信道采用8比特的SDR(标准动态范围)平面图像(二维图像)来生成每个信道采用32比特的HDR(高动态范围)图像。此外，SDR平面图像可以是例如由常用相机拍摄的图像。此外，生成的HDR图像例如可以是全天空图像(360度图像)、半天空图像(180度图像)等。此外，生成的HDR图像可以是全景图像。

下面，将描述在图像处理设备10中实现的机器学习模型的示例。

在根据本实施例的图像处理设备10中实现的机器学习模型的学习中，首先，如图2所示，执行HDR图像生成部分20的学习。这里，要在HDR图像生成部分20的学习中使用的学习数据将被称为第一学习数据。此外，在下文中，HDR图像生成部分20的学习将被称为第一学习。

HDR图像生成部分20例如是由CNN(卷积神经网络)实现的机器学习模型。例如，响应于每个信道采用8比特的SDR图像的输入，HDR图像生成部分20生成并输出与SDR图像相关联并且每个信道采用32比特的HDR图像。

第一学习数据包括例如学习输入SDR图像22和对比HDR图像24的组合。

包括在第一学习数据中的学习输入SDR图像22例如是在第一学习中输入到HDR图像生成部分20的图像。学习输入SDR图像22例如是SDR平面图像，例如由常用相机拍摄的图像。

包括在第一学习数据中的对比HDR图像24例如是HDR平面图像，例如不是由HDR图像生成部分20生成而是由常用相机拍摄的图像等。

在本实施例中，例如，学习输入SDR图像22被输入到HDR图像生成部分20。然后，响应于学习输入SDR图像22的输入，HDR图像生成部分20生成并输出与学习输入SDR图像22相关联的HDR平面图像。以这种方式生成的图像将被称为生成的HDR图像26。

此外，在本实施例中，例如，指定生成的HDR图像26和包括在第一学习数据中的对比HDR图像24之间的误差(对比结果)，生成的HDR图像26是当包括在第一学习数据中的学习输入SDR图像22输入到HDR图像生成部分20时输出的。这里，例如，可以指定诸如L1误差之类的像素间误差。此外，基于指定的误差，例如通过误差反向传播方法来更新HDR图像生成部分20的参数值。

在本实施例中，例如，如图3所示，与上述第一学习分开执行广角图像生成部分28的学习。这里，要在广角图像生成部分28的学习中使用的学习数据将被称为第二学习数据。此外，在下文中，广角图像生成部分28的学习将被称为第二学习。

下面，将描述第二学习的示例，其中，使用条件GAN(生成对抗性网络)技术，不仅执行广角图像生成部分28的学习，而且与之一起执行域识别部分30的学习。

广角图像生成部分28例如是由CNN实现的机器学习模型。例如，HDR平面图像被输入到广角图像生成部分28。

此外，广角图像生成部分28例如估计输入HDR平面图像的视角之外的环境，例如图像视角之外的对象和场景。然后，例如，广角图像生成部分28生成反映了估计结果的图像，该图像具有比输入平面图像中包括的任何图像更宽的视角。这里，例如，可以生成全天空图像或半天空图像。此外，例如，可以生成全景图像。此外，广角图像生成部分28输出生成的图像。

例如，域识别部分30是CNN实现的机器学习模型。例如，将由广角图像生成部分28生成的图像或与由广角图像生成部分28生成的图像不同的图像输入到域识别部分30。然后，域识别部分30输出例如指示已经输入到域识别部分30的图像是否是广角图像生成部分28生成的图像的识别结果。这里，域识别部分30可以输出指示输入到域识别部分30的图像是广角图像生成部分28生成的图像的可能性的程度的数据。

第二学习数据包括学习输入HDR图像32和对比广角图像34。

包括在第二学习数据中的学习输入HDR图像32例如是HDR平面图像，例如由常用相机拍摄的图像。图4是示意性地示出根据本实施例的学习输入HDR图像32的示例的图。这里，图4示出了通过对HDR图像进行二值化处理而得到的图像。注意，可以使用由学习的HDR图像生成部分20生成的HDR平面图像作为学习输入HDR图像32。这里，例如，经学习的HDR图像生成部分20响应于学习输入SDR图像22的输入而生成的HDR平面图像可以用作学习输入HDR图像32。此外，经学习的HDR图像生成部分20响应于与学习输入SDR图像22不同的SDR图像的输入而生成的HDR平面图像可以用作学习输入HDR图像32。

包括在第二学习数据中的对比广角图像34例如是HDR广角图像，该HDR广角图像不是由广角图像生成部件28生成的图像，而是由全天空相机拍摄的全天空图像、由半天空相机拍摄的半天空图像等。另外，对比广角图像34可以是由全景相机拍摄的全景图像。图5是示意性地示出根据本实施例的对比广角图像34的示例的图。这里，图5示出了通过对HDR图像进行二值化处理而得到的图像。

此外，可以使用与包括在第二学习数据中的学习输入HDR图像32相关联的图像作为包括在第二学习数据中的对比广角图像34。包括在第二学习数据中的对比广角图像34可以是例如在与第二学习数据中包括的学习输入HDR图像32相同的位置处拍摄的图像。

在第二学习中，包括在第二学习数据中的学习输入HDR图像32被输入到广角图像生成部分28。然后，响应于学习输入HDR图像32的输入，广角图像生成部分28生成具有比学习输入HDR图像32更宽视角的图像。以这种方式生成的图像将被称为生成的广角图像36。图6是示意性地示出根据本实施例的生成的广角图像36的示例的图。这里，图6示出了通过对HDR图像进行二值化处理而得到的图像。

此外，将基于包括在第二学习数据中的学习输入HDR图像32生成的生成的广角图像36或者包括在第二学习数据中的对比广角图像34输入到域识别部分30。

此外，域识别部分30例如输出表示已经输入到域识别部分30的图像是生成的广角图像36的可能性程度的生成可能性数据38。然后，指定对抗性损失，这是生成可能性数据38和域识别数据40之间的误差(对比结果)，所述域识别数据40指示生成的广角图像36和对比广角图像34中的哪个已输入到域识别部分30中。

这里，例如，作为域识别数据40的值，可以设置与生成的广角图像36或对比广角图像34相关联的值。

例如，生成可能性数据38可以是取值大于或等于0且小于或等于1的数据。在这种情况下，域识别数据40可以是例如：在已经输入到域识别部分30的图像是生成的广角图像36的情况下取值为1的数据；在已经输入到域识别部分30的图像是对比广角图像34的情况下取值为0的数据。

此外，生成可能性数据38和域识别数据40可以各自表示为包括例如两个元素的向量。例如，生成可能性数据38的第一元素的值可以是指示输入到域识别部分30的图像是生成的广角图像36的可能性程度的值。此外，生成可能性数据38的第二元素的值可以是指示输入到域识别部分30的图像是对比广角图像34的可能性程度的值。在这种情况下，与生成的广角图像36相关联的域识别数据40的值可以用二维向量(1,0)表示，与对比广角图像34相关联的域识别数据40的值可以用二维向量(0,1)表示。

此外，在本实施例中，例如，基于对抗性损失，通过误差反向传播方法对广角图像生成部分28或域识别部分30的参数值进行更新。

这里，在根据本实施例的第二学习中，使用预定数量的第二学习数据集对广角图像生成部分28的参数值的更新、以及使用预定数量的第二学习数据集对域识别部分30的参数值的更新可以是交替地重复进行的。在这种情况下，当对广角图像生成部分28的参数值进行更新时，在域识别部分30的参数值固定的状态下对广角图像生成部分28的参数值进行更新。此外，当对域识别部分30的参数值进行更新时，在广角图像生成部分28的参数值固定的状态下对域识别部分30的参数值进行更新。

此外，如上所述，使用条件GAN技术来执行根据本实施例的第二学习。因此，在广角图像生成部分28的参数值的更新中，不仅使用对抗性损失，而且还额外使用生成的广角图像36和对比广角图像34之间的像素间误差，例如L1损失等。

此外，在本实施例中，例如，对于每个像素，根据对比广角图像34中的亮度值的大小来确定权重42。此外，通过使用权重42对前述像素间误差进行加权来确定校正的像素间误差。例如，对于每个像素，通过将像素间误差的值乘以指示权重42的值来确定校正的像素间误差的值。此外，基于针对每个像素确定的对抗性损失和校正的像素间误差，例如通过误差反向传播方法来更新广角图像生成部分28的参数值。

图7是示出根据本实施例的权重图44的示例的图，其中描绘了根据亮度值的权重42的示例。在图7的权重图44中，指示像素的权重42的值越大，描绘的像素的色调越白，而指示像素的权重42的值越小，描绘的像素的色调越黑。这里，图7示出了由二值化处理得到的图像。

这里，权重42可以例如通过亮度值的递增函数来表示。例如，可以设置每个像素的权重42，使得在亮度值小于预定值的情况下，权重42被设置为1，而在亮度值大于或等于预定值的情况下，亮度值越大，权重42越大。此外，例如，可以设置每个像素的权重42，使得在亮度值小于预定值的情况下，权重42被设置为1，而在亮度值大于或等于预定值的情况下，权重42被设置为2。注意，亮度值和权重42之间的关系不限于上述关系。

在本实施例中，用如上所述的方式执行广角图像生成部分28的学习，即，通过更新广角图像生成部分28的参数值，使得根据对比广角图像34中像素的亮度水平，增加与相关像素有关的参数值的更新量。

注意，对于每个像素，可以根据不在对比广角的视点图像34中而是在生成的广角图像36中的亮度值的大小来确定权重42。在这种情况下，通过更新广角图像生成部分28的参数值来执行广角图像生成部分28的学习，使得根据生成的广角图像36中的像素的亮度水平，增加与相关像素有关的参数值的更新量。

此外，对于每个像素，可以根据对比广角图像34中的相关像素的亮度值和生成的广角图像36中的相关像素的亮度值中较大的一个的大小来确定权重42。在这种情况下，更新广角图像生成部分28的参数值，使得根据对比广角图像34中的像素的亮度水平或生成的广角图像36中的像素的亮度水平，增加与相关像素有关的参数值的更新量。

注意，根据本实施例的学习方法不限于上述学习方法。例如，可以不使用例如条件GAN技术，而是基于例如仅基于像素间误差和校正的像素间误差来执行第二学习。在这种情况下，结果是，不使用域识别部分30来执行广角图像生成部分28的学习。

下面，将参照图8描述使用经学习的HDR图像生成部分20和经学习的广角图像生成部分28的图像的生成。

首先，将SDR平面图像(例如由常用相机拍摄的图像等)输入到经学习的HDR图像生成部分20。以下，以这种方式输入的图像将被称为目标输入图像46。

然后，HDR图像生成部分20根据目标输入图像46生成并输出HDR平面图像。以下，以这种方式输出的HDR图像将被称为目标中间图像48。

此外，目标中间图像48被输入到经学习的广角图像生成部分28。然后，广角图像生成部分28根据目标中间图像48生成并输出HDR图像。这里输出的图像是例如补充了目标中间图像48的视角之外的对象和场景的图像，并且该图像具有比目标中间图像48更宽的视角。以下，将相关图像称为目标广角图像50。

具有高亮度的像素(例如具有大亮度值的像素)极有可能是描绘被称为光源(例如太阳或照明灯)的像素。此外，在由广角图像生成部分28对这种高亮度像素进行了不适当地的估计的情况下，高亮度部分被布置在生成的广角图像36中的非自然位置，或者高亮度部分没有被布置在要被布置的部分。结果，例如，在某些情况下出现IBL中的光源设置是不自然的情况。

在本实施例中，如上所述，通过更新广角图像生成部分28的参数值来执行广角图像生成部分28的学习，使得根据像素的亮度水平，增加关于相关像素的参数值的更新量。因此，该配置使得能够通过广角图像生成部分28来提高高亮度像素的估计的精度。因此，例如，上述配置使得IBL中的光源的设置变得自然。此外，上述配置使得使用用于IBL的技术来精细地描述例如高光对象的反射是可能的。

这里，广角图像生成部分28的学习可以通过例如更新广角图像生成部分28的参数值来执行，使得根据对比广角图像34中像素的亮度水平，增加关于相关像素的参数值的更新量。在这种情况下，可以降低高亮度部分没有被布置在生成的广角图像36中要被布置的部分的可能性。

此外，广角图像生成部分28的学习可以通过例如更新广角图像生成部分28的参数值来执行，使得根据生成的广角图像36中的像素的亮度水平，增加关于相关像素的参数值的更新量。在这种情况下，可以降低高亮度部分被布置在生成的广角图像36中的非自然位置的可能性。

此外，在本实施例中，基于具有宽动态范围的HDR图像、根据其亮度值来确定每个像素的权重42，因此，该配置使得能够根据亮度执行精确的加权，例如允许将特别大的权重42赋予特别高亮度的部分等。

此外，在第二学习中使用条件GAN技术的情况下，可以使由广角图像生成部分28生成的HDR图像成为高频图像。

此外，在本实施例中，如上所述，例如，HDR图像生成部分20的学习与广角图像生成部分28的学习分开执行。此外，HDR图像生成部分20基于SDR图像生成HDR图像，并且广角图像生成部分28基于相关HDR图像生成HDR广角图像。这样，分两个阶段生成HDR广角图像，因此，结果是，根据本实施例，生成具有高对比度的HDR广角图像。

注意，IBL(基于图像的照明)中的光源可以基于根据本实施例的图像处理设备10生成的目标广角图像50来设置。注意，由根据本实施例的图像处理设备10生成的目标广角图像50的使用当然不限于IBL。

下面，将进一步描述根据本实施例的图像处理设备10的功能以及由图像处理设备10执行的处理。

图9是示出由根据本实施例的图像处理设备10实现的功能的示例的功能框图。注意，在根据本实施例的图像处理设备10中，不必实现图9中所示的所有功能，并且可以实现除图9所示的功能之外的一个或多个功能。

如图9所示，根据本实施例的图像处理设备10在功能上包括例如HDR图像生成部分20、广角图像生成部分28、域识别部分30、第一学习数据获取部分60、第一学习部分62、第二学习数据获取部分64、第二学习部分66、目标输入图像获取部分68、目标中间图像获取部分70和目标广角图像获取部分72。上述元件主要实现为处理器12和存储部分14。

根据本实施例的图像处理设备10充当用于执行在图像处理设备10中实现的机器学习模型的学习的学习设备的角色，以及充当用于使用经学习的机器学习模型进行图像生成的图像生成设备的角色。在图9的示例中，HDR图像生成部分20、广角图像生成部分28、域识别部分30、第一学习数据获取部分60、第一学习部分62、第二学习数据获取部分64，第二学习部66对应于作为学习设备的角色。此外，HDR图像生成部分20、广角图像生成部分28、目标输入图像获取部分68、目标中间图像获取部分70和目标广角图像获取部分72对应于作为图像生成设备的角色。

上述功能可以通过允许处理器12执行安装在作为计算机的图像处理设备10中的程序、并且包括与上述功能相对应的指令来实现。该程序可经由诸如光盘、磁盘、磁带、磁光盘或闪存的计算机可读信息存储介质，或经由因特网等提供给图像处理设备10。

如上所述，在本实施例中，例如，HDR图像生成部分20响应于SDR平面图像的输入而生成并输出HDR平面图像。此外，HDR图像生成部分20可以由诸如CNN的机器学习模型来实现。

如上所述，在本实施例中，例如，广角图像生成部分28响应于图像的输入生成具有比相关图像更宽的视角的图像。此外，如上所述，在本实施例中，例如，广角图像生成部分28输出生成的图像，并且还可以响应于HDR图像的输入而输出HDR图像。此外，广角图像生成部分28可以由诸如CNN的机器学习模型来实现。

如上所述，在本实施例中，例如，域识别部分30输出识别结果，该结果指示输入到域识别部分30的图像是否是由广角图像生成部分28生成的图像。此外，域识别部分30可以由诸如CNN等的机器学习模型来实现。

在本实施例中，例如，第一学习数据获取部分60获取包括学习输入SDR图像22和对比HDR图像24的组合的第一学习数据。

在本实施例中，例如，第一学习部分62使用由第一学习数据获取部分60获取的第一学习数据来执行第一学习。这里，例如，基于包括在第一学习数据中的学习输入SDR图像22，可以由HDR图像生成部分20生成生成的HDR图像26。此外，可以基于生成的HDR图像26和在第一学习数据中包括的对比HDR图像24之间的对比结果，通过更新HDR图像生成部分20的参数值，来执行HDR图像生成部分20的学习。

在本实施例中，例如，第二学习数据获取部分64获取包括学习输入HDR图像32和对比广角图像34的组合的第二学习数据。这里，第二学习数据获取部分64可以获取包括由经学习的HDR图像生成部分20生成的生成的HDR图像26的第二学习数据，作为学习输入HDR图像32。

在本实施例中，例如，第二学习部分66使用由第二学习数据获取部分64获取的第二学习数据来执行第二学习。

这里，例如，基于包括在第二学习数据中的学习输入HDR图像32，可以由广角图像生成部分28生成生成的广角图像36。此外，对于生成的广角图像36或包括在第二学习数据中的对比广角图像34中的每个像素，可以确定根据像素的亮度值的权重42。

此外，包括在生成的广角图像36中的像素和包括在对比广角图像34中的像素可以以一对一的方式彼此关联。此外，对于包括在对比广角图像34中的每个像素，根据相关像素的亮度值和与相关像素相关联并包括在生成的广角图像36中的像素的亮度值中的较大者的权重42可以被确定为相关像素的权重42。

此外，可以通过更新广角图像生成部分28的参数值来执行广角图像生成部分28的学习，从而根据所确定的权重42和生成的广角图像36与对比广角图像34之间的像素间误差来获得更新量。例如，对于某个像素，基于校正后的像素间误差的值可以确定与相关像素有关的参数值的更新量，校正后的像素间误差的值是通过将生成的广角图像36和对比广角图像34之间的像素间误差的值乘以指示相关像素的权重42的值而获得的。

这里，可以通过例如更新广角图像生成部分28的参数值来执行广角图像生成部分28的学习，使得根据对比广角图像34中像素的亮度水平，增加与相关像素有关的参数值的更新量。

此外，可以通过例如更新广角图像生成部分28的参数值来执行广角图像生成部分28的学习，使得根据生成的广角图像36中的像素的亮度水平，增加与相关像素有关的参数值的更新量。

此外，可以更新广角图像生成部分28的参数值，使得例如根据对比广角图像34中像素的亮度水平或生成的广角图像36中像素的亮度水平，增加与相关像素有关的参数值的更新量。

在本实施例中，例如，目标输入图像获取部分68获取前述目标输入图像46，将该图像输入到经学习的HDR图像生成部分20。

在本实施例中，例如，目标中间图像获取部分70获取目标中间图像48，如上所述，HDR图像生成部分20基于目标输入图像46生成和输出该目标中间图像48。此外，在本实施例中，例如，目标中间图像获取部分70将目标中间图像48输入到广角图像生成部分28。

在本实施例中，例如，目标广角图像获取部分72获取目标广角图像50，如上所述，广角图像生成部分28基于目标中间图像48生成并输出目标广角图像50。

这里，将参考作为图10中的示例的流程图来描述由根据本实施例的图像处理设备10执行的HDR图像生成部分20、广角图像生成部分28和域识别部分30中的学习处理的流程的示例。

首先，第一学习数据获取部分60获取多个第一学习数据集(S101)。

然后，第一学习部分62使用在S101中指示的处理中获取的多个第一学习数据集来执行第一学习(S102)。这里，进行HDR图像生成部分20的学习。

此外，第二学习数据获取部分64获取多个第二学习数据集(S103)。这里，例如，假设获取(m×2n)个第二学习数据集(m和n各为整数)。假设将(m×2n)个第二学习数据集分成由2n个第二学习数据集组成的数据组。在下文中，第i顺序的数据组将被称为第i个数据组(1￡i￡m)。

此外，第二学习部分66将变量i的值设置为1(S104)。

然后，第二学习部分66使用包括在第i数据组中的n个第二学习数据集对广角图像生成部分28执行第二学习(S105)。在S105所示的处理中，在域识别部分30的参数值固定的状态下更新广角图像生成部分28的参数值。

然后，第二学习部分66使用包括在第i个数据组中并且在S105指示的处理中未使用的n个剩余的第二学习数据集对域识别部分30执行第二学习(S106)。在S106所示的处理中，在广角图像生成部分28的参数值固定的状态下更新域识别部分30的参数值。

此外，第二学习部分66确认变量i的值是否等于m(S107)。在值不等于m的情况下(S107:N)，第二学习部分66将变量i的值增加1(S108)，并且流程返回到S105中指示的处理。在值等于m的情况下(S107:Y)，在本处理示例中指示的处理结束。

接下来，将参考图11中示出的作为示例的流程图来描述上述S105中指示的处理的流程的示例，即，使用第i个数据组中包括的n个第二学习数据集来进行广角图像生成部分28的第二学习。

首先，第二学习部分66从包括在第i个数据组中的n个第二学习数据集中获取尚未执行S202到S212中指示的以下处理的第二学习数据集(S201)。

然后，第二学习部分66指定在第二学习数据集中包括的对比广角图像34(S202)，该第二学习数据集是在S201中指示的处理中获得的。

然后，第二学习部分66指定在第二学习数据集中包括的学习输入HDR图像32(S203)，该第二学习数据集是在S201中指示的处理中获得的。

然后，第二学习部分66将在S203中指示的处理中指定的学习输入HDR图像32输入广角图像生成部分28(S204)。

然后，第二学习部分66获取生成的广角图像36(S205)，该生成的广角图像36是在S204指示的处理中将学习输入HDR图像32输入广角图像生成部分28时的输出。

然后，第二学习部分66将在S202指示的处理中指定的对比广角图像34或在S205指示的处理中获得的生成的广角图像36输入到域识别部分30(S206)。

然后，第二学习部分66获取生成可能性数据38(S207)，该生成可能性数据38是在S206中指示的处理中根据域识别部分30的输入的输出。

然后，第二学习部分66基于在S207中指示的处理中获得的生成可能性数据38、以及与在S206中指示的处理中的输入相关联的域识别数据40来计算对抗性损失(S208)。

然后，第二学习部分66指定在S202指示的处理中指定的对比广角图像34和在S205指示的处理中获得的生成的广角图像36之间的像素间误差(S209)。

然后，第二学习部分66确定与在S202中指示的处理中指定的对比广角图像34中包括的各个像素相关联的权重42(S210)。这里，例如，可以确定与在S205中指示的处理中获得的生成的广角图像36中包括的各个像素相关联的权重42。此外，例如，对于像素中的每一个，可以根据对比广角视角图像34中的相关像素的亮度值或生成的广角图像36中的相关像素的亮度值中较大的一个的大小来确定权重42。

此外，第二学习部分66基于在S209指示的处理中指定的像素间误差和在S210指示的处理中确定的权重42来计算校正的像素间误差(S211)。

然后，第二学习部分66基于在S209指示的处理中计算的对抗性损失和在S211指示的处理中计算的校正的像素间误差，更新广角图像生成部分28的参数值(S212)。这里，如上所述，更新广角图像生成部分28的参数值，使得根据对比广角图像34中像素的亮度水平，增加与相关像素有关的参数值的更新量。此外，可以例如通过误差反向传播方法，在对抗性损失增加的方向、并且在校正后的像素间误差减小的方向上更新广角图像生成部分28的参数值。

此外，第二学习部分66确认是否已经对第i个数据组中包括的n个第二学习数据集执行了S202到S212中指示的处理(S213)。在尚未对所有第二学习数据执行S202到S212中指示的处理的情况下(S213:N)，流程返回到S201中指示的处理。在已经对所有第二学习数据执行了S202到S212中指示的处理的情况下(S213:Y)，S105中指示的处理结束。

注意，在S201到S213所指示的处理的一个循环期间，可以针对相应的情况(即，将对比广角图像34输入到域识别部分30的情况、以及将生成的广角图像36输入到域识别部分30的情况)重复执行S206到S212中指示的处理两次。

接下来，将参照图12中示出的示例的流程图来描述上述S106中指示的处理的流程的示例，即，使用第i数据组中包括的并且在S105中指示的处理中未使用的n个剩余的第二学习数据集进行的域识别部分30的第二学习。

首先，第二学习部分66从包括在第i数据组中并且在S105指示的处理中未使用的n个剩余的第二学习数据集中获取尚未执行S302到S312中指示的处理的一个第二学习数据集(S301)。

然后，第二学习部分66指定在第二学习数据集中包括的对比广角图像34(S302)，该第二学习数据集已经在S301指示的处理中获得。

此外，第二学习部分66指定在第二学习数据集合中包括的学习输入HDR图像32(S303)，该第二学习数据集已经在S301中指示的处理中获得。

然后，第二学习部分66将在S303指示的处理中指定的学习输入HDR图像32输入到广角图像生成部分28(S304)。

然后，第二学习部分66获取生成的广角图像36(S305)，该生成的广角图像36是在S304指示的处理中将学习输入HDR图像32输入到广角图像生成部分28时的输出。

然后，第二学习部分66将在S302指示的处理中指定的对比广角图像34或在S206指示的处理中获得的生成的广角图像36输入到域识别部分30(S306)。

然后，第二学习部分66获取生成可能性数据38(S307)，该生成可能性数据38是在S306指示的处理中根据域识别部分30的输入的输出。

然后，第二学习部分66基于在S307指示的处理中获得的生成可能性数据38、以及与S206中指示的处理中的输入相关联的域识别数据44来计算对抗性损失(S308)。

然后，第二学习部分66基于在S308指示的处理中计算的对抗性损失更新域识别部分30的参数值(S309)。这里，可以例如通过误差反向传播方法，在减少对抗性损失的方向上更新域识别部分30的参数值。

此外，第二学习部分66确认是否已经对第i个数据组中包括并且在S105指示的处理中未使用的第二学习数据的所有剩余的n个第二学习数据集执行了S302到S309中指示的处理(S310)。在尚未对所有第二学习数据执行S302到S309中指示的处理的情况下(S310:N)，流程返回到S301中指示的处理。在已经对所有第二学习数据执行了S302到S309中指示的处理的情况下(S310:Y)，S106中指示的处理结束。

注意，在S301到S313所示的处理的一个循环期间，对于相应的情况(即，对经比广角图像34输入到域识别部分30的情况，以及将生成的广角图像36输入到域识别部分30的情况)，可以重复执行S306到S309中指示的处理两次。

此外，尽管在图10到图12所示的处理示例中，针对S105中指示的处理和S106中指示的处理中的每一个使用了不同的第二学习数据集，但是在S105中指示的处理和在S106中指示的处理中可以使用相同的第二学习数据集。

接下来，将参考作为图13中的示例示出的流程图来描述由根据本实施例的图像处理设备10执行的用于生成目标广角图像50的处理流程的示例。

首先，目标输入图像获取部分68获取目标输入图像46(S401)。

然后，目标输入图像获取部分68将在S401指示的处理中获得的目标输入图像46输入到HDR图像生成部分20(S402)。

然后，HDR图像生成部分20根据在S302指示的处理中输入的目标输入图像46生成目标中间图像48，并输出目标中间图像48(S403)。

然后，目标中间图像获取部分70获取在S403中指示的处理中输出的目标中间图像48(S404)。

此外，目标中间图像获取部分70将在S404指示的处理中获取的目标中间图像48输入到广角图像生成部分28(S405)。

然后，广角图像生成部分28根据在S405指示的处理中输入的目标中间图像48生成目标广角图像50，并输出目标广角图像50(S406)。

然后，目标广角图像获取部分72获取在S406指示的处理中输出的目标广角图像50(S407)，并且在本处理示例中指示的处理结束。

注意，本发明不限于上述实施例。

此外，上述特定字符串和数值以及附图中的特定字符串和数值是示例性表示，并且本发明不限于这些字符串和数值。