一种基于画家知识的肖像艺术光影效果生成方法

摘要

本发明提出了一种基于画家知识的肖像艺术光影效果生成方法，能够使用户方便的生成肖像的艺术光影效果。本发明首先利用画家经验构建了一个肖像艺术光影模板库。基于该模板库实现了肖像艺术光影效果生成方法，该方法包括三个方面的功能：参考库中艺术肖像生成艺术光影效果、参考用户自定义艺术肖像生成艺术光影效果、肖像光影一键艺术化。本发明可广泛应用推广到交互式数字娱乐、影视节目制作、艺术设计与创作等领域。

说明书

技术领域

本发明属于计算机摄像学领域，特别是图像处理的方法。具体的说是基于画家知识的 肖像艺术光影效果生成方法。

背景技术

光是艺术家创作艺术作品的主要手段，也是影响视觉艺术作品(照片或绘画等) 美感的重要因素，但是掌握用光的技巧需要艺术家长期的练习和训练，普通摄影者或 者绘画爱好者往往难以拍摄出或者绘制出具有艺术美感的肖像图像，因此需要一种方 便的在普通肖像中生成艺术光影效果的方法与系统。本发明的目的是利用计算机技 术，使用户能够方便的生成肖像的艺术光影效果。

目前关于肖像图像艺术光影效果生成的工作主要集中于三个方面：基于商图或可 变性模板的光影效果生成方法、基于单幅图像的光影效果生成方法、艺术光影分析与 评价方法。

在基于商图的光影效果生成方面，美国南加州大学的Peers等利用商图对人脸进 行光照迁移，通过采集静态参考人脸对象在不同光照条件下反射场，并利用同一对象 在不同光照条件下的人脸图像与在正面均匀光照条件下的人脸图像之间比值，构建相 应光照条件下该对象的材质属性图，也称作商图。同时将期望光照条件所对应的商图 进行变形，并迁移到目标人脸上，以生成目标图像/视频场景的光照效果。该方法用 于对人脸视频/图像进行后期重光照处理。该方法局限是：目标人脸和数据库人脸具 有相近的几何特性和材质属性，难以适用于只有一幅参考图像的情况，由于其光影效 果来源于实验室搭建的点光源阵列环境，因此难以模拟艺术摄影或者艺术绘画中大面 积光源的光影效果。

在基于可变性模板的光影效果生成方面，美国卡耐基梅隆大学的Yang wang等在 未知人脸几何信息和反照率信息情况下的进行人脸图像重光照。该方法输入仅需要一 张在任意苛刻光照环境下的人脸图像。利用了一种可变形人脸模型来估计人脸几何信 息，利用球谐函数基来表示光照条件，并通过马尔科夫随机场模型来模拟子区域的统 计分布和人脸纹理的空间一致性。该方法通过使用一个可变性人脸模型来估计人脸图 像的光照条件，而且能处理复杂光照条件或者人脸图像过度曝光和曝光不足的情况， 能极大的提高人脸识别的准确率。但该方法假设人脸表面是朗波表面，并用一个可变 形人脸模型来拟合人脸图像估计几何信息，因此生成的重光照人脸图像与真实图像相 比缺乏一定的真实感，并且难以适用于参考另一幅图像光影效果的情况。

在基于单幅图像的人脸光影效果生成方面，人脸识别领域的研究人员提取各种不 同的光照不变特征，例如整体变分模型、自商图等等，以达到人脸光照归一化的效果。 这类方法通常只适用于低分辨率的人脸图像，目的是去除人脸光影效果以提高人脸识 别率，而不是生成逼真的人脸光影效果。本征图像技术能够将图像逐像素地分解成光 照部分与反射部分，但这是一个病态问题，通常自动的计算方法难以适应各种复杂的 自然图像，虽然有研究人员提出了基于用户交互的本征图像分解方法，但是仍然难以 达到理想的分解效果，从而无法直接应用于基于单幅图像的人脸光影效果生成。阴影 去除方面的技术目前还集中于投射阴影的去除，然而艺术光影效果通常不仅包含投射 阴影还包含自阴影。

在艺术光影分析与评价方面，通常包含基于模型(图像场景中的三维形状已知) 与无模型(图像场景中的三维形状未知)两类方法，然而这两类方法都主要集中于分 析主光源的方向和位置，而在艺术摄影和艺术绘画中，经常同时使用多种复杂形状的 光源，所以目前的技术难以分析复杂的艺术光影效果，更加难以直接应用于艺术光影 效果生成。

发明内容

为了克服现有技术的不足，本发明提出了一种基于画家知识的肖像艺术光影效果生成 方法，能够使用户方便的生成肖像的艺术光影效果；其特征在于该方法采取以下步骤：

(1)基于画家经验构建肖像艺术光影模板库；

(2)基于光影模板库的肖像艺术光影效果生成。

进一步的，步骤(1)所述的构建肖像艺术光影模板库采取以下步骤：

(1.1)根据画家经验选取在光照方面具有代表性的艺术肖像；

(1.2)根据画家经验提取艺术肖像的艺术光照模板，即光模板；

(1.3)根据画家经验提取艺术肖像的艺术阴影模板，即影模板。

进一步的，步骤(2)所述的肖像艺术光影效果生成包括以下方式：

(2.1)参考库中艺术肖像生成艺术光影效果；

(2.2)参考用户自定义艺术肖像生成艺术光影效果；

(2.3)肖像光影一键艺术化。

进一步的，方式(2.1)所述的参考库中艺术肖像生成艺术光影效果采取以下步骤：

(2.1.1)利用活动形状模型在人脸上定位160个特征点；

(2.1.2)利用160个特征点与多层自由形图像变形技术，实现艺术光影模板变形；

(2.1.3)肖像艺术光影效果生成。

进一步的，步骤(2.1.3)所述的肖像艺术光影效果生成利用画家经验，对影模板和 光模板分开变形处理，利用变形后的影模板和光模板生成输入肖像的艺术光影效果。

进一步的，方式(2.2)所述的参考用户自定义艺术肖像生成艺术光影效果采取以下 步骤：

(2.2.1)计算用户自定义参考艺术肖像的人脸光影描述符；

(2.2.2)匹配一幅与用户自定义参考艺术肖像具有相似光影效果的库中参考艺术肖 像；

(2.2.3)根据与用户自定义参考艺术肖像，自动调整库中匹配参考艺术肖像的光影 效果，生成输入肖像的艺术光影效果。

进一步的，步骤(2.2.1)所述的人脸光影描述符由48个局部光影对比特征组成，根 据人脸特征点定位，将人脸分割成16个不规则区域，包括前额、鼻子、眉毛、嘴唇、眼 睛、脸颊；将每一个区域在左右、上下、里外方向上分割成两个的子区域，并且计算两个 子区域之间在CIELAB空间中L通道上的平均值差，人脸光影描述符定义为一个48维的向 量，包含了16个人脸区域中每个区域3个方向上的局部光影对比。

进一步的，步骤(2.2.2)所述的匹配一幅与用户自定义参考艺术肖像具有相似光影 效果的库中参考艺术肖像，采用了欧式距离计算两个人脸光影描述符之间的差。

进一步的，步骤(2.2.3)所述的自动调整库中匹配参考艺术肖像的光影效果，采取 了一种基于人脸光影描述符的光影模板自动调整算法，定义肖像的整体光影对比为光影描 述符48维特征响应之和，并且根据用户自定义参考肖像与输出肖像图像的整体光影对比 差异和光影描述符距离，通过调整影模板与光模板的输入输出色阶，分别对光影模板进行 调整，从而调整输出肖像的光影对比，使得输出肖像与用户自定义参考肖像的光影效果近 似。

进一步的，方式(2.3)所述的肖像光影一键艺术化采取以下步骤：

(2.3.1)计算输入肖像与库中每一幅艺术肖像的形状上下文距离；

(2.3.2)匹配一幅与输入肖像脸型和五官分布最接近的库中参考艺术肖像；

(2.3.3)肖像艺术光影效果生成。

本发明与现有的技术相比，其有益的特点是：1、无需计算输入肖像或者参考肖像的 三维几何信息，只需一幅肖像图像即可生成艺术光影效果；2、用户可以自由选择三种艺 术光影效果的生成方式：参考库中艺术肖像生成艺术光影效果、参考用户自定义艺术肖像 生成艺术光影效果、肖像光影一键艺术化。

附图说明：

图1是本发明其中一部分肖像艺术光影模板示意图；

图2是本发明参考库中艺术肖像生成艺术光影效果过程示意图；

图3是本发明人脸特征点定位示意图

图4是本发明人脸区域划分示意图；

图5是本发明参考用户自定义艺术肖像生成艺术光影效果过程示意图；

图6是本发明光影匹配过程示意图；

图7是本发明光影模板调整示意图；

图8是本发明肖像光影一键艺术化过程示意图；

图9是本发明形状与五官分布匹配过程示意图。

具体实施方式：

下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明定义在光照条件ic下的肖像图像P上RGB空间的任何通道上的任何像素值为： P(ic)＝P(U)*T_I(ic)＝P(U)*T_s(ic)*T_l(ic)

其中P(U)是该肖像在近似均匀光照条件U下产生的图像，T_I(ic)为肖像光影模板，它可 以分解为影模板T_s(ic)与光模板T_l(ic)，影模板和光模板分别指导P(U)上的像素如何减暗 和增亮。

本发明利用光影模板近似表示肖像图像的光照相关部分，画家利用普通计算机绘图软 件在一幅平均脸图像上绘制参考艺术肖像的光模板和影模板，画家将500幅艺术肖像分为 10类，每一类代表一种艺术光影样式，画家在每一类艺术肖像中选取最具代表性的若干 肖像绘制光影模板，本发明在从画家绘制结果中提取光影模板，构建肖像艺术光影模板库， 如图1所示。

基于该模板库本发明实现了肖像艺术光影效果生成方法和系统，该系统支持三个方面 的功能：参考库中艺术肖像生成艺术光影效果、参考用户自定义艺术肖像生成艺术光影效 果、肖像光影一键艺术化。

参阅图2，对于库中的参考艺术肖像，每一幅都存在与其相对应的影模板和光模板， 参阅图3，本发明首先利用人脸特征点定位方法(ASM：Active Shape Model)在输入肖 像和标准平均脸上定位160个特征点，根据定位的特征点利用多层自由形图像变形技术 (MFFD：Multilevel Free-Form Deformation)将与参考艺术肖像相对应的影模板和光模 板变形成输入肖像的形状：

F_s^w＝Warp(F_s，F_d)

根据F_d(d表示目标)上定位的特征点将F_s(s代表源)变形为F_s^w。

对于输入肖像P，其对应在参考图像P^r(ic)光照条件ic下的输出图像P(ic)为：

$P\left(\mathrm{ic}\right)=P*T_s^w\left(\mathrm{ic}\right)T_l^w\left(\mathrm{ic}\right)$

其中和为参考艺术肖像对应的影模板T_s(ic)和光模板T_l(ic)根据输入肖 像P变形后的图像。

参阅图5，如果库中缺乏用户指定的参考艺术肖像，系统能够自动匹配一幅与用户自 定义参考艺术肖像具有相似光影效果的库中参考艺术肖像，并且通过对其相应的光影模板 进行自动调整生成光影效果。

为了匹配一幅与用户自定义参考艺术肖像具有相似光影效果的库中参考艺术肖像，本 发明设计了一种人脸光影描述符(FID：Face Illumination Descriptor)，以描述人脸光 影分布。该人脸光影描述符由48个局部光影对比特征组成，参阅图4，本发明根据人脸 特征点，将人脸分割成16个区域{R₁，R₂，…R₁₆}，包含了前额、鼻子、眉毛、嘴唇等部 分。本发明将每一个区域在左右lr或者上下tb或者里外cp方向上分割成两个的子区域 R_i1和R_i2，记分界线为p_d，并且计算两个子区域之间在CIELAB空间中L通道上的平均 值差：

$p_d^{*}=\arg \underset{p_d}{\max }|{\mu }_{i1}\left(p_d\right)-{\mu }_{i2}\left(p_d\right)|$

$r_i^d=|{\mu }_{i1}\left(p_d^{*}\right)-{\mu }_{i2}\left(p_d^{*}\right)|$

其中μ_i1(p_d)和μ_i2(p_d)分别为两个子区域R_i1和R_i2的L通道平均值，d∈{lr，tb，cp}，为 对比方向上使得两个子区域在某个通道平均值上对比最大的分界线，r_i^d为该对比特征的响 应。肖像图像P的人脸光影描述符定义为一个48维的向量，包含了16个人脸区域中3 个方向上的局部光影对比：

$\mathrm{FID}\left(P\right)=\{r_i^{\mathrm{lr}},r_i^{\mathrm{tb}},r_i^{\mathrm{cp}}|i=\mathrm{1,2},...,16\}$

本发明定义两个人脸光影描述符之间的差为两个向量的欧氏距离：

$\mathrm{ED}({\mathrm{fid}}_1,{\mathrm{fid}}_2)=\sqrt{\underset{i=1}{\overset{16}{\Sigma }}\underset{d}{\Sigma }{(r_{1i}^d-r_{2i}^d)}^2}$

本发明假设在相同光照条件下的人脸具有相似的光影效果，与用户自定义参考肖像的 光影描述符差异最小的库中肖像即为匹配的库中参考肖像。定义光影匹配的过程为 FIM(P，Ω)，即在肖像集合Ω中寻找与肖像P具有最相似光影效果的肖像，匹配过程如 图6所示。

匹配库中参考肖像的光影效果在一定程度上仍然与用户自定义的参考艺术肖像存在 差异，本发明构建的肖像艺术光影库中包含了10类典型的光影样式，根据画家经验，在 同一个光影样式中的最大差异是光影对比的差异。本发明采取了一种基于人脸光影描述符 的光影模板自动调整算法，参阅图7，以影模板为例，调整影模板的输入色阶最大值h_S(Highest Output Level)与输出色阶l_S(Lowest Input Level)将会直接影响到影模 板的亮度，从而改变生成效果的光影对比。光模板的调整与影模板类似，利用人脸光影描 述符FID定义肖像的整体对比为：

$\mathrm{CT}\left(\mathrm{fid}\right)=\underset{i=1}{\overset{16}{\Sigma }}\underset{d}{\Sigma }{r}_i^d,d\in \{\mathrm{lr},\mathrm{tb},\mathrm{cp}\}$

不妨设从库中匹配的参考艺术肖像为P_m，用户自定义参考艺术肖像为P_c，输入肖像 P_i的输出图像为P_r，如果P_r的整体对比大于P_c的整体对比，系统将调暗光模板并且调亮 影模板；如果P_r的整体对比小于P_c的整体对比，系统将调亮光模板并且调暗影模板。即 设h_S和l_S，h_L和l_L分别是影模板和光模板的最高输出色阶与最低输入色阶。如果 CT(FID(P_r))大于CT(FID(P_c))，则减小h_L并增大l_S；如果CT(FID(P_r))小于CT(FID(P_c))则 增大l_L或减小h_S。

根据画家经验，色阶的调整能控制在20以内，所以，如果 CT(FID(P_r))＞CT(FID(P_c))，h_L的调整范围为[235，255)，l_S的调整范围为(0，20]。在h_L和l_S的所有400中组合中，挑选能使得P_r和P_c人脸光影描述符距离最小的一对组合作为 光影模板调整的最终结果；对于相反的情况，如果CT(FID(P_r))≤CT(FID(P_c))，则h_S的调 整范围为[235，255)，l_L的调整范围为(0，20]。在h_S和l_L的所有400中组合中，挑选能 使得P_r和P_c人脸光影描述符距离最小的一对组合作为光影模板调整的最终结果。利用调 整后的光影模板，生成输入肖像的输出图像，使得输出图像的光影效果与用户自定义参考 图像的光影效果近似。

根据画家经验，不同的脸型适合不同的光影效果，本发明基于人脸特征点定位(图3)， 采用形状上下文距离尺度定义两幅肖像的脸型与五官分布差异。参阅图8，如果用户没有 指定参考艺术肖像，系统将根据输入肖像自动推荐一幅与其脸型和五官分布接近的库中参 考艺术肖像(图9)，并将生成相应的肖像艺术光影效果。

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换， 均应属于本发明的保护范围。