一种基于神经网络的灯光光强颜色的设计方法、装置、系统及存储介质

摘要

本发明公开了一种基于神经网络的灯光光强颜色的设计方法、装置、系统及存储介质，包括：在给定视角下对场景进行每个光源在单位光强单独发光情况下的绘制，得多张单光源渲染图；利用基于神经网络构建的光照效果预测模型对所有单光源渲染图进行光照增强，得到光照预测效果图；以光强和颜色看作权重，构建以使所有单光源渲染图的加权线性叠加的效果图尽可能接近光照预测效果图的优化目标，并对优化目标进行求解，以获得每个光源的光强和颜色。这样能够有效的学习出给定数据集中隐含的灯光亮度分布原则，并在新场景中自动的设计出每个灯光的光强和颜色，进而获得基于物理的高质量绘制效果图。

说明书

技术领域

本发明属于室内场景辅助设计领域，尤其涉及一种基于神经网络的灯光光强颜色的设计的方法、装置、系统及存储介质。

背景技术

在室内设计领域，尤其是室内灯光的设计领域，一个自动的灯光光强颜色设计方法有着十分重要的意义。灯光是室内设计中不可缺少的元素，它负责照亮整个室内环境，给人们提供一个舒适的生活和工作环境。与此同时，灯光往往是设计师表达设计想法的重要元素，它能够强调重点的区域，为整个室内设计提供氛围感。室内灯光设计实际上是一个复杂的任务，它需要考虑整个房间的信息，家具的布局信息，以及放置的光源位置情况。在完成基本照明任务的同时，一个好的灯光设计同时需要有美学上的考量，使整个室内环境更加的舒适美观。对室内场景的灯光的光强和颜色设计需要专业丰富的设计经验，即使是在目前最专业的灯光设计软件中，对于灯具布局的设计也需要不停的修改与迭代，这是一个费时费力的过程。

近些年来，人们使用数据驱动的方法对多种设计流程的自动化进行了探索。比如室内的家具放置，户型设计以及建筑与规划设计。与此同时，人们也构建了一些室内三维场景数据集。这些相关的工作证明了基于深度学习的方法可以从大量的三维场景数据中学习到设计的规则，从而自动的对新的场景进行设计，如公开号为CN108984904A的专利申请公开的一种基于深度神经网络的家居设计方法。同时，目前的一些工作使用神经网络的方法对图像的视觉效果进行增强，从而得到特定风格的图像，如公开号为CN110033417A的专利申请公开的一种基于深度学习的图像增强方法。随着生成对抗网络的广泛研究和使用，出现了一批基于生成对抗网络的图像增强和风格迁移方法，这些方法有效的提高了图像的生成质量，能够生成和目标数据集相似的图像。然而，目前的方法并没有针对灯光的光强和颜色进行设计，需要一个针对室内灯光的自动光强颜色设计的方法。

发明内容

鉴于上述，本发明的目的是提供一种基于神经网络的灯光光强颜色的设计的方法、装置、系统及存储介质，能够有效的学习出给定数据集中隐含的灯光亮度分布原则，并在新场景中自动的设计出每个灯光的光强和颜色。

为实现上述发明目，本发明提供以下技术方案：

第一方面，一种基于神经网络的灯光光强颜色的设计方法，包括以下步骤：

步骤1，在给定视角下对场景进行每个光源在单位光强单独发光情况下的绘制，得多张单光源渲染图；

步骤2，利用基于神经网络构建的光照效果预测模型对所有单光源渲染图进行光照预测，得到光照预测效果图；

步骤3，以光强和颜色看作权重，构建以使所有单光源渲染图的加权线性叠加的效果图尽可能接近光照预测效果图的优化目标，并对优化目标进行求解，以获得每个光源的光强和颜色。

第二方面，一种基于神经网络的灯光光强颜色的设计装置，包括：

渲染模块，用于在给定视角下对场景进行每个光源在单位光强单独发光情况下的绘制，得多张单光源渲染图；

预测模块，用于利用基于神经网络构建的光照效果预测模型对所有单光源渲染图进行光照预测，得到光照预测效果图；

光强颜色设计模块，用于以光强和颜色看作权重，构建以使所有单光源渲染图的加权线性叠加的效果图尽可能接近光照预测效果图的优化目标，并对优化目标进行求解，以获得每个光源的光强和颜色。

第三方面，一种基于神经网络的灯光光强颜色的设计系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现上述基于神经网络的灯光光强颜色的设计方法。

第四方面，一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现上述基于神经网络的灯光光强颜色的设计方法步骤。

与现有技术相比，本发明具有的有益效果至少包括：

本发明提供的基于神经网络的灯光光强颜色的设计方法、装置、系统及存储介质，以利用当单光单光强源渲染的单光源渲染图作为数据源，通过基于神经网络的光照效果预测模型构建光照预测效果图后，将光强和颜色看作权重，构建以使所有单光源渲染图的加权线性叠加的效果图尽可能接近光照预测效果图的优化目标，通过求解获得每个光源的光强和颜色，这样做，利用了神经网络进行图像预测的能力来得到场景的整体光照效果，同时光源参数的优化过程避免了神经网络预测的图像中产生的瑕疵，最终可以得到基于物理的高质量绘制效果图。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明实施例提供的基于神经网络的灯光光强颜色的设计方法的流程图；

图2是本发明实施例提供的利用光照效果预测模型进行光照预测的过程图；

图3是本发明实施例提供的基于神经网络的灯光光强颜色的设计装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了实现在给定视角下进行室内灯光光强颜色的自动设计，实施例提供了一种基于神经网络的灯光光强颜色的设计方法。如图1所示。该设计方法包括：

步骤1，在给定视角下对场景进行每个光源在单位光强单独发光情况下的绘制，得多张单光源渲染图。

实施例中，采用基于路径追踪算法的渲染器在给定视角下对场景进行绘制，得到多张单光源渲染图，这样能够完整的考虑光传输过程，使得获得的单光源渲染图为具有高真实感的绘制结果，且每个灯光单独发光的渲染图在一次绘制过程中即可得到所有，快速可靠。

步骤2，利用基于神经网络构建的光照效果预测模型对所有单光源渲染图进行光照预测，得到光照预测效果图。

实施例中，光照效果预测模型由神经网络，旨在根据定视角下逐光源发光得到的所有单光源渲染图进行光照预测，实现从没有完整光照效果到具有完整光照效果的过程，以得到良好光照效果图。如图2所示，实施例提供的光照效果预测模型包括粗糙预测单元和着色单元；

所述粗糙预测单元包括基于神经网络构建的第一预测模型和合并子单元，其中，第一预测模型用于基于多张单光源渲染图预测得到光强和色温，合并子单元用于通过将光强和色温线性加权叠加到所有单光源渲染图，得到粗糙效果图；

所述着色单元包括拆分子单元、基于神经网络构建的第二预测模型和融合子单元，其中，拆分子单元用于将粗糙效果图拆分成反射率和粗糙着色效果图，第二预测模型用于基于粗糙着色效果图和单光源渲染图预测得到精细着色效果图，融合子单元用于融合反射率和精细着色效果图，得到光照预测效果图。

该光照效果预测模型在被应用前，需要利用样本图像进行参数优化，优化的参数包括神经网络的权重参数和合并子单元的权重参数。其中样本图像是由给定视角下的所有单光源渲染图和光照效果非常好的渲染图形成的图像对。光照效果预测模型的输入为所有单光源渲染图依照分类合并的图像，输出为光照效果预测图。实施例中，采用渐进式的策略来训练光照效果预测模型，这种方式能够获得比网络直接预测更高质量的结果。具体训练过程为：首先，采用一个神经网络作为第一预测模型来预测出每个分类的单光源图像对应的光强和颜色，从而得到一个初步估计，基于此初步估计，再使用一个神经网络作为第二预测模型进行着色上的精细估计从而得到最终的光照预测效果图。

实施例中，第一预测模型采用基于ResNet-34的卷积神经网络，采用L1损失函数，第二预测模型采用由VGG、GAN以及特征调制模块的卷积神经网络，采用VGG损失函数和生成对抗网络的损失函数，训练时，先采用L1损失函数对第一预测模型进行预训练，然后再采用加上第二预测模型以及对应的损失函数一起进行联合训练。

步骤3，以光强和颜色看作权重，构建以使所有单光源渲染图的加权线性叠加的效果图尽可能接近光照预测效果图的优化目标，并对优化目标进行求解，以获得每个光源的光强和颜色。

在获得光照预测效果图之后，将光照预测效果图作为优化目标图像，并且将光照预测效果图认为是所有单光源渲染图通过光强和颜色加权线性叠加的结果。基于此，构建以使所有单光源渲染图的加权线性叠加的效果图尽可能接近光照预测效果图的优化目标，并且把光强和颜色的求解可以看做一个线性优化问题，通过优化目标进行求解，以获得每个光源的光强和颜色，基于该光源的光强和颜色合成基于物理的高质量绘制效果图。实施例中，可以非负的最小二乘优化器对优化目标求解。

彩色图像是由RGB三个通道组成的，具体实现时，为每张单光源渲染图设置3个对应R、G、B三通道的权重系数，构建使所有单光源渲染图的加权线性叠加的效果图尽可能接近光照预测效果图的优化目标，在对优化目标进行求解后，根据求得的权重系数计算每个光源的光强和颜色，基于该光源的光强和颜色合成基于物理的高质量绘制效果图。

上述基于神经网络的灯光光强颜色的设计方法，还用于多视角的灯光光强颜色的设计，即对于每个固定视角，均执行步骤1，得到多视角的所有单光源渲染图后，执行步骤2，得到多视角对应的光照预测效果图，然后以多视角的所有单光源渲染图和多视角对应的光照预测效果图作为数据源，执行步骤3，得到每个光源的光强和颜色。这样可以基于该光源的光强和颜色合成基于物理的多视角高质量绘制效果图。

上述基于神经网络的灯光光强颜色的设计方法，利用了神经网络进行图像预测的能力来得到场景的整体光照效果，同时光源参数的优化过程避免了神经网络预测的图像中产生的瑕疵，最终可以得到基于物理的高质量绘制效果图。

如图3所示，实施例还提供了一种基于神经网络的灯光光强颜色的设计装置300，包括：

渲染模块301，用于在给定视角下对场景进行每个光源在单位光强单独发光情况下的绘制，得多张单光源渲染图；

预测模块302，用于利用基于神经网络构建的光照效果预测模型对所有单光源渲染图进行光照预测，得到光照预测效果图；

光强颜色设计模块303，用于以光强和颜色看作权重，构建以使所有单光源渲染图的加权线性叠加的效果图尽可能接近光照预测效果图的优化目标，并对优化目标进行求解，以获得每个光源的光强和颜色。

需要说明的是，实施例提供的基于神经网络的灯光光强颜色的设计装置在进行光强颜色设计时，应以上述各功能模块的划分进行举例说明，可以根据需要将上述功能分配由不同的功能模块完成，即在终端或服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，实施例提供的基于神经网络的灯光光强颜色的设计装置与基于神经网络的灯光光强颜色的设计方法实施例属于同一构思，其具体实现过程详见基于神经网络的灯光光强颜色的设计方法实施例，这里不再赘述。

实施例还提供了一种基于神经网络的灯光光强颜色的设计系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现上述基于神经网络的灯光光强颜色的设计方法。

一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现上述基于神经网络的灯光光强颜色的设计方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。