一种基于人脸语义分析的人物照片颜色风格转换方法

摘要

本发明公开了一种基于人脸语义分析的人物照片颜色风格转换方法，包括以下步骤：输入需要被转换风格的源图像和作为风格参照的参考图像；对参考图像和源图像进行人脸检测，并根据检测结果进行抠图，分别得到分离的场景语义信息和人脸细部语义信息；根据参考图像各语义信息的颜色风格，调整源图像中的对应语义信息的颜色风格；将调整后的源图像的各语义信息重新拼合，得到目标图像。本发明将需要被转换风格的源图像和作为风格参照的参考图像的场景语义信息和人脸细部语义信息分离出来，之后进行一一对应的颜色转换，有效保留了源图像的内容，准确获得参考图像的颜色空间分布，使转化后的源图像且具有较强的视觉连贯性。

说明书

技术领域

本发明涉及计算机图像处理技术领域，具体涉及一种基于人脸语义分 析的人物照片颜色风格转换方法。

背景技术

在日常生活中，随着相机、手机等设备的日益增多，人们拍摄照片也 变得更加频繁和方便了。同时，随着社交网络的发展，越来越多的人喜欢 利用照片来分享他们的日常生活。但是，由于人们缺乏摄影师的专业技能， 所以拍出的照片会存在缺乏层次，曝光不足，色彩饱和度低等问题。为了 使照片看起来精致且具有艺术效果，一些图像处理软件被用来处理照片。 但对大多数的图像处理软件来说，它们操作复杂，需要具备一定的专业技 能才能够使用。同时，目前已有的图像处理软件无法实现将用户的照片按 照某张由用户指定的艺术照片风格进行转换。

为了解决这一问题，计算机图形学领域的研究者们对图像颜色风格转 换方法进行了探究，以追求最好的颜色风格转换效果，但对于人物照片的 颜色风格转换方法则关注甚少，效果一般。

先前工作大多是基于图像颜色统计的方法，主要通过提取两个图像中 各种颜色的统计数据，建立特定的映射函数，使得源图像的颜色与参考图 像的颜色一致。如色彩自动转换算法，由Reinhard等人首先提出，参见 Reinhard E,Ashikhmin M,Gooch B,et al.Color transfer between  images[J].IEEE Computer graphics and applications,21(5), 34-41(2001)。

Tai等人把图像颜色分布建模为高斯混合模型，并利用期望最大化解 决了区域颜色转换问题。参见Tai Y W,Jia J,Tang C K.Local color  transfer via probabilistic segmentation by expectation– maximization[C].Computer Vision and Pattern Recognition,2005. CVPR 2005.IEEE Computer Society Conference on.IEEE,1,747-754 (2005)。

Pitié等人提出了颜色自动分级方法，该方法利用一个N维概率分布 函数进行转换。参见PitiéF,Kokaram A C,Dahyot R.Automated colour  grading using colour distribution transfer[J].Computer Vision and  Image Understanding,107(1),123-137(2007)。

Pouli和Reinhard提出了一种直方图矫形技术，它允许用户选择源图 像最佳的匹配目标。参见Pouli T,Reinhard E.Progressive color  transfer for images of arbitrary dynamic range[J].Computers and  Graphics,35(1),67-80(2011)。

但在许多情况下，单纯的色彩统计信息并不能充分地描述图像的内 容，某些区域可能在映射过程中被错误地着色。

为了避免这样的错误，一些交互方法利用用户指定的色彩笔触，来确 保不同图像区域之间的颜色能够被正确的转换，以达到期望的目标。如 Luan等人提出了一种用户使用笔触指定源图像和参考图像颜色转换区域 的方法。参见Luan Q,Wen F,Xu Y Q.Color Transfer Brush[C].Pacific  Conference on Computer Graphics and Applications.465-468(2007)。

Wen等人用笔触在源图像和参考图像的多个区域间进行颜色转换。参 见Wen C L,Hsieh C H,Chen B Y,et al.Example-based Multiple Local  Color Transfer by Strokes[C].Computer Graphics Forum.Blackwell  Publishing Ltd,27(7),1765-1772(2008)。

An和Pellacini利用非线性约束的参数模型，在笔触定义的图像区域 之间进行颜色转换。参见An X,Pellacini F.User-Controllable Color  Transfer[C].Computer Graphics Forum.Blackwell Publishing Ltd, 29(2),263-271(2010)。

但是，非专业人员可能很难控制这些笔触。另一个问题是，在进行颜 色转换的过程中，没有考虑空间分布特征，这可能会影响视觉的连贯性， 甚至失去重要的色彩特征。

利用Alpha混合用于图像拼合，参见Holten D.Hierarchicaledge  bundles:Visualization of adjacency relations in hierarchical d  ata[J].Visualization and Computer Graphics,IEEE Transactions  on,2006,12(5):741-748。

基于上述两种方法的缺点以及人物照片颜色风格转换的需要，希望能 够开发出一种更准确高效且减少人工操作的人物照片颜色风格转换方法。

发明内容

本发明提供了一种基于人脸语义分析的人物照片颜色风格转换方法， 转换的过程中，保留了源图像的内容，很好的获得了参考图像的颜色空间 分布，具有良好的视觉连贯性，转换过程准确高效且易于操作。

一种基于人脸语义分析的人物照片颜色风格转换方法，包括以下步 骤：

(1)输入需要被转换风格的源图像和作为风格参照的参考图像；

(2)对参考图像进行人脸检测，并根据检测结果进行抠图，得到分 离的场景语义信息和人脸细部语义信息；

(3)对源图像进行人脸检测，并根据检测结果进行抠图，得到分离 的场景语义信息和人脸细部语义信息；

(4)根据参考图像各语义信息的颜色风格，调整源图像中的对应语 义信息的颜色风格；

(5)将经过步骤(4)调整的源图像的各语义信息重新拼合，得到目 标图像。

本发明中，将人物照片，即需要被转换风格的源图像和作为风格参照 的参考图像的场景语义信息和人脸细部语义信息分离出来，之后进行一一 对应的颜色转换，有效保留了源图像的内容，准确获得参考图像的颜色空 间分布，使转化后的源图像且具有较强的视觉连贯性，提高照片颜色风格 转换效果。

其中，场景语义信息包括背景、人像的头发和衣服，人脸细部语义信 息包括人像的眼睛、眉毛、嘴巴、牙齿和脸部。

参考图像可以是用户自行选定，为了使用方便，也可以自动生成与原 图像相似度高的参考图像，优选的，步骤(1)中，输入的参考图像根据 源图像的内容自动生成，具体过程包括以下步骤：

a、建立参考图像数据库；

b、将源图像与参考图像数据库内的图像进行人脸匹配，将与源图像 相似度最大的图像作为风格参照的参考图像。

其中作为风格参照的参考图像可以选取一张，为了给用户更多的风格 选择，可以选取相似度最大的多张图像供用户选择，并将选择的图片作为 最终的作为风格参照的参考图像。

在进行人脸匹配之前需要对源图像和参考图像人脸上的关键点进行 检测，以此来获取人脸特征，通过调用Face++提供的API函数进行人脸 检测，本发明利用landmark API进行人脸关键点检测，landmark API用于 检测给定人脸相应的面部轮廓，五官等关键点位置，包括25点和83点两 种模式，为了提高面部检测的精细程度，本发明采用83点模式。

本发明所述的源图像在参考图像数据库中进行人脸匹配的方法如下： 利用Face++提供的identify API进行人脸匹配。identify API用于对于一个 待查询的人脸，在参考图像数据库中查询与之相似度最大的几张人脸。其 主要功能是当给定一张含有人脸的源图像后，程序会在已构建的参考图像 数据库的相应分组中，查找出匹配度最大的几张人脸，并返回匹配的相似 程度。

为了减小本发明方法的运算效率，优选的，在步骤a建立参考图像数 据库时，即对所有参考图像数据库内的图像进行步骤(2)的操作，并将 信息储存，在步骤(1)中输入参考图像时，同时得到该参考图像的场景 语义信息和人脸细部语义信息。将所有参考图像的场景语义信息和人脸细 部语义信息(包括眼睛、眉毛、嘴巴、牙齿、脸部等)预先计算并储存， 从而在确认参考图像后就可以得到场景语义信息和人脸细部语义信息，有 效提高运算效率。

为了提高参考图像的识别效率，优选的，在步骤a建立参考图像数据 库时，利用人脸识别工具，根据人脸特征，将所有图像分组，在步骤b中， 先对源图像进行人脸识别，根据源图像的人脸特征，选取具有对应人脸特 征的图像组内的图像与源图像进行人脸匹配。

人脸数据需要有效反映出一个人的脸部特征，因此在建立参考图像数 据库时考虑了多方面的情况，包括不同的性别、年龄、种族、情绪、脸部 姿势、微笑程度、是否配戴眼镜、是否有胡子等等人脸特征。利用这些不 同的特征，可以帮助我们得到更佳的匹配效果，同时以此来提高源图像与 参考图像的匹配速度，在一些计算受限的移动设备上也可以起到很好的效 果。

优选的，步骤(2)和(3)中，根据人脸检测结果，对经检测的图像 (源图像或者参考图像)进行抠图操作的具体步骤包括：

A、根据人脸检测，得到各人脸细部特征的关键点；

通过调用landmark API，Face++会将识别出的人脸语义信息以Json 格式反馈回来。在返回的Json中，landmark项中保存了人脸上各个部位 的关键点，包括眉毛，眼睛，鼻子，嘴巴，脸等细部的关键点，每一个细 部位上有多个关键点，用x，y表示这些关键点的位置。

B、将各细部上的关键点连线，得到人脸细部轮廓(背景设置为黑色， 连线设置为白色)；

C、先对人脸细部轮廓进行膨胀处理，再生成Trimap图像，得到各轮 廓图像的前景、背景和未知区域(前景设置为白色、背景设置为黑色、未 知区域设置为灰色)；

D、根据Trimap进行matting抠图；

进行matting抠图的具体步骤如下：

D-1、对各轮廓图像的前景或背景进行小规模的扩展；

D-2、扩展完成后，对剩余的未知区域内的每个像素点P，从像素点P 出发，引出m条路径，每个路径之间成360/m的夹角，记录下每条路径 经过的路线中首次遇到的前景点或背景点，直到超出图像的边缘，得到m 对前景和背景取样点；

为了算法的稳定性，每矩形区域内(矩形区域范围在3×3到9×9之间， 区域越小精度越高)，路径的起始角度周期性的改变，这样与像素点P相 邻的未知像素的m条路径经过的区域就有着较大的不同，能得到更为有效 的结果集。

D-3、将步骤D-2得到的每个像素点P的m对前景和背景取样点带入 目标函数(1)，将使得目标函数(1)值最小的一对取样点作为最佳的前 景和背景取样点，

G_p(f_i,b_j)＝D_p(f_i,b_j)^eDA_p(f_i,b_j)^eAF_p(f_i)^efF_p(b_i)^eb；   (1)

式中：

f_i和b_j是前景和背景取样点；

D_p(f_i,b_j)表明使像素点P的n×n邻域内的色彩失真最小化， 3≤n≤9；

F_p(f_i)和F_p(b_i)表明执行空间关联准则，即前景和背景的取样应该尽 可能的接近像素点P；

e{D,A,f,b}表明对这些指数中较大的值添加处罚；

A_p(f_i,b_j)表明计算出的透明度α_p值关系着像素点P属于前景的概 率，α_p的计算公式如下：

${\alpha }_p=\frac{(C_p-B^j)(F^i-B^j)}{{\left|\right|F^i-B^j\left|\right|}^2}---\left(2\right)$

式中：

α_p表示像素点P的alpha值，即透明度；

C_p表示像素点P的颜色值；

Fⁱ和B^j分别表示任一一对前景点f_i和背景点b_j的颜色值；

将得到各像素点P的最佳的前景和背景取样点的数据带入公式(2)， 计算得到对应像素点P的透明度α_p值：

对于步骤D-2中，无法得到m对前景和背景取样点的像素点P，获取 最佳的前景和背景取样点以及对应的透明度α_p值的方法如下：

对这类像素点P在s×s邻域内，将未知区域内的其他像素点P的最佳 的前景和背景取样点数据带入公式(3)中，3≤s≤9，

$N_p(F^i,B^j)=\left|\right|C_p-({\hat{\alpha }}_p{F}^i+(1-{\hat{\alpha }}_p)B^j)\left|\right|---\left(3\right)$

计算使N_p(Fⁱ,B^j)最小时，α_p的数值；

同时获取N_p(Fⁱ,B^j)最小的3～5个像素点P，对这些像素点P的数据进 行加权平均，得到数据对${\tilde{\tau }}_p^g=({\tilde{F}}_p^g,{\tilde{B}}_p^g,{\tilde{\sigma }}_f^2,{\tilde{\sigma }}_b^2);$

分别表示前景的平均颜色值和背景点的平均颜色值；

分别表示前景点邻域内的局部颜色变化的平均值和背景点邻 域内的局部颜色变化的平均值；

再按照公式(4)、(5)和(6)，计算得到的和作为在 步骤D-2中无法得到m对前景和背景取样点的像素点P的最佳的前景、背 景取样点和透明度值；

$F_p^r=\left(\begin{array}{cc}{C}_p& \mathrm{if}{\left|\right|C_p-{\tilde{F}}_p^g\left|\right|}^2\le {\tilde{\sigma }}_f^2\\ {\tilde{F}}_p^g& \mathrm{otherwise}\end{array}\right);---\left(4\right)$

$B_p^r=\left(\begin{array}{cc}{C}_p& \mathrm{if}{\left|\right|C_p-{\tilde{B}}_p^g\left|\right|}^2\le {\tilde{\sigma }}_b^2\\ {\tilde{B}}_p^g& \mathrm{otherwise}\end{array}\right);---\left(5\right)$

${\alpha }_p^r=\frac{(C_p-B_p^r)·(F_p^r-B_p^r)}{{\left|\right|F_p^r-B_p^r\left|\right|}^2};---\left(6\right)$

D-4、对得到的剩余的未知区域内的所有像素点P的最佳的前景和背 景取样点以及对应的透明度α_p值进行平滑处理，完成抠图处理。优选的， 平滑处理为局部平滑。

参见文章《Shared Sampling for RealTime Alpha Matting》：Gastal  E S L,Oliveira M M.Shared Sampling for RealTime Alpha Matting[C]. Computer Graphics Forum.Blackwell Publishing Ltd,29(2), 575-584(2010).

现有静态图像抠图算法均需对给定图像添加标记以增加抠图问题的 额外约束，Trimap为一种常用的标记方式，通过对给定图像的一种粗略划 分，将给定图像划分为前景、背景和待求未知区域，通常将前景标记为白 色、背景标记为黑色、未知区域标记为灰色。

Matting抠图就是要解决一个病态方程C_p＝α_pF_p+(1-α_p)B_p，

其中，C_p是观察到的图像颜色，F_p表示前景颜色、B_p表示背景颜色、 α_p表示透明度。前景的α_p为1，背景的α_p为0，介于前景和背景之间的 区域，α_p的值在(0,1)范围内，所以大部分的matting问题都是去求解 α_p，找出最合适的值。

为了提高人脸细部语义信息的准确性，优选的，在步骤(3)中，对 得到的源图像的人脸细部语义信息利用用户笔触的交互方式进行精细抠 图。

进一步优选的，对得到的源图像的人脸细部语义信息利用用户笔触的 交互方式进行精细抠图的具体方法如下：

ⅰ、通过两种不同颜色，人为区分各人脸细部图像的前景与背景，同 时得到未知区域；

ⅱ、每一个未知区域Ω中的像素点P表示一个节点，去连接它周围四 连通域中的节点N(p)，用图结构来表示马尔可夫随机场，将未知区域建 模为马尔可夫随机场，对马尔可夫随机场中的每一个像素点P进行采样， 得到所有像素点P的前景和背景颜色值，并构建能量方程(7)；

$E=\underset{p\in \Omega }{\Sigma }(E_d\left(p\right)+\lambda E_s\left(p\right))---\left(7\right)$

式中，

数据项$E_d\left(p\right)=\frac{1}{N^2}\underset{i=1}{\overset{N}{\Sigma }}\underset{j=1}{\overset{N}{\Sigma }}{\left|\right|C_p-{\alpha }_p{F}_p^i-(1-{\alpha }_p)B_p^j\left|\right|}^2/{\sigma }_p^2,$可以优化抠图结 果与输入图像之间的逼近程度，使结果尽可能地与真实值接近；

和表示未知区域内任一像素点P的前景和背景的颜色值；

α_p表示像素点P的alpha值，即透明度；

C_p表示像素点P的颜色值；

表示C_p和的距离方差；

||...||表示RGB色彩空间中的欧式距离；

光滑项$E_s\left(q\right)=\underset{q\in N\left(p\right)}{\Sigma }{({\alpha }_p-{\alpha }_q)}^2/\left|\right|C_p-C_q\left|\right|,$可以优化邻域之间的α值 的相似性，使前景和背景区域能光滑过渡；

像素点q表示像素点P在r×r邻域内的任一点像素，3≤r≤9；

自适应动态权重$\lambda =e^{-{(k-\beta )}^3};$

k表示迭代次数；

β表示一个可以调节的常数；

e为自然常数；

通常设定β为3.4，如果前景或是背景在很大程度上不连接时，则将 β设定为0.5。在迭代初始时刻，λ非常大，光滑项占据主导地位，使线 条迅速扩散；随后，λ逐渐减小，数据项逐渐占据优势，产生各向异性的 扩散，保持图像的局部细节特征。

ⅲ、将数据项和光滑项带入能量方程，得到公式(8)，将边界条件带 入公式(8)能够获取图像matte；

$E=\underset{p\in \Omega }{\Sigma }(\frac{1}{N^2}\underset{i=1}{\overset{N}{\Sigma }}\underset{j=1}{\overset{N}{\Sigma }}{\left|\right|C_p-{\alpha }_p{F}_p^i-(1-{\alpha }_p)B_p^j\left|\right|}^2/{\sigma }_p^2+\lambda \underset{q\in N\left(p\right)}{\Sigma }{({\alpha }_p-{\alpha }_q)}^2/||C_p-C_q|\left|\right)---\left(8\right)$

其中，边界条件为${\alpha }_p^{*}{|}_{\partial \Omega }=\left(\begin{array}{cc}1& p\in {\Omega }_F\\ 0& p\in {\Omega }_B\end{array}\right),$Ω_F表示前景区域，Ω_B表 示背景区域。

定义${\Omega }_F^{+}=\{p\in \Omega |{\alpha }_p\ge 0.99,C_p\widetilde{‾}{F}_p\},$保证像素点在中一定属于前 景；

定义${\Omega }_B^{+}=\{p\in \Omega |{\alpha }_p\le 0.01,C_p\widetilde{‾}{B}_p\},$保证像素点在中一定属于背 景；

ⅳ、更新和同时利用公式(9)增强F_p和B_p；

$(F_p,B_p)=\arg \underset{F_p^i,B_p^j}{\min }\left|\right|C_p-\alpha F_p^i-(1-\alpha )B_p^j\left|\right|---\left(9\right)$

F_p和B_p为像素点P的前景点和背景点；

ⅴ、重复步骤ⅱ-ⅳ，直到都为空；

ⅵ、迭代终止，完成收敛。

参见文章《Easy Matting-A Stroke Based Approach for Continuous  Image Matting》：Guan Y,Chen W,Liang X,et al.Easy Matting-A  Stroke Based Approach for Continuous Image Matting[C].Computer  Graphics Forum.Blackwell Publishing,Inc,25(3),567-576(2006).

优选的，步骤(4)中，根据参考图像的颜色风格，调整源图像的对 应语义信息的颜色风格具体步骤包括：

4-1、把源图像和参考图像由RGB色彩空间转换为Lab色彩空间，因 为Lab三个通道之间的相关性很弱；

4-2、分别计算源图像和参考图像的三个通道的均值和方差；

4-3、对源图像的每一通道的每个像素点作运算：

p＝(p-m₁)·(d₂/d₁)+m₂，m₁、m₂、d₁、d₂分别为源图像和参考图 像在Lab色彩空间下任一通道的均值和方差，p为对应像素值；

4-4、把源图像由Lab色彩空间转换回RGB色彩空间；

4-5、对转换回的RGB色彩空间的源图像作越界检测矫正处理。

优选的，步骤(5)中，通过alpha混合将源图像的各语义信息重新拼 合，混合公式如下：

R(c)＝alpha×R(b)+(1-alpha)×R(a)；

G(c)＝alpha×G(b)+(1-alpha)×G(a)；

B(c)＝alpha×B(b)+(1-alpha)×B(a)；

其中，a表示不透明图像的颜色，b表示透明图像的颜色，透过b看a 看到的颜色为c。设b的透明度为alpha，alpha∈[0,1]，0表示完全透明， 1表示完全不透明。

本发明的有益效果：

本发明的基于人脸语义分析的人物照片颜色风格转换方法，将需要被 转换风格的源图像和作为风格参照的参考图像的场景语义信息和人脸细 部语义信息分离出来，之后进行一一对应的颜色转换，有效保留了源图像 的内容，准确获得参考图像的颜色空间分布，使转化后的源图像且具有较 强的视觉连贯性，提高照片颜色风格转换效果。

附图说明

图1为本发明方法的技术方案流程线框图。

图2为本发明方法结合实际图像的技术方案流程示意图。

具体实施方式

如图1和2所示，本实施例的基于人脸语义分析的人物照片颜色风格 转换方法，首先建立参考图像数据库，并对数据库中的参考图像进行人脸 检测，场景内容结构分析和人脸语义分析的预处理，以提高整体的运行速 度；接着，输入源图像，在参考图像数据库中对源图像进行人脸匹配，找 到与源图像最为相似的几张参考图像；然后，对源图像进行精细的场景内 容结构分析和人脸语义分析处理，以保证结果的精确度；最后，将源图像 各部分语义信息的颜色风格按照参考图像的进行转换，并进行图像融合， 得到源图像颜色风格转换后的目标图像。

具体步骤如下：

(1)输入需要被转换风格的源图像和作为风格参照的参考图像；

参考图像可以是用户自行选定，为了使用方便，也可以自动生成与原 图像相似度高的参考图像，本实施例中，输入的参考图像根据源图像的内 容自动生成，具体过程包括以下步骤：

a、建立参考图像数据库；

在建立参考图像数据库过程中，

利用人脸识别工具，根据人脸特征，将所有图像分组；人脸数据需要 有效反映出一个人的脸部特征，因此在建立参考图像数据库时考虑了多方 面的情况，包括不同的性别、年龄、种族、情绪、脸部姿势、微笑程度、 是否配戴眼镜、是否有胡子等等人脸特征。利用这些不同的特征，可以帮 助我们得到更佳的匹配效果，同时以此来提高源图像与参考图像的匹配速 度，在一些计算受限的移动设备上也可以起到很好的效果。

同时对所有参考图像数据库内的图像进行人脸检测，并根据检测结果 进行抠图，得到分离的场景语义信息和人脸细部语义信息，并将信息储存。 将所有参考图像的场景语义信息和人脸细部语义信息(包括眼睛、眉毛、 嘴巴、牙齿、脸部等)预先计算并储存，从而在确认参考图像后就可以得 到场景语义信息和人脸细部语义信息，有效提高运算效率。

b、根据源图像的人脸特征，在参考图像数据库内选取具有对应人脸 特征的图像组进行人脸匹配，在该图像组内选出与源图像相似度最大的三 张图像作为预选，用户在三张中挑选一张作为风格参照的参考图像，同时 得到该参考图像的场景语义信息和人脸细部语义信息。

在进行人脸匹配之前需要对源图像和参考图像人脸上的关键点进行 检测，以此来获取人脸特征，通过调用Face++提供的API函数进行人脸 检测，本发明利用landmark API进行人脸关键点检测，landmark API用于 检测给定人脸相应的面部轮廓，五官等关键点位置，包括25点和83点两 种模式，为了提高面部检测的精细程度，本实施例中，采用83点模式。

本实施例中，的源图像在参考图像数据库中进行人脸匹配的方法如 下：利用Face++提供的identify API进行人脸匹配。identify API用于对于 一个待查询的人脸，在参考图像数据库中查询与之相似度最大的几张人 脸。其主要功能是当给定一张含有人脸的源图像后，程序会在已构建的参 考图像数据库的相应分组中，查找出匹配度最大的几张人脸，并返回匹配 的相似程度。

(2)对源图像进行人脸检测，并根据检测结果进行抠图，得到分离 的场景语义信息和人脸细部语义信息；

根据人脸检测结果，对经检测的图像(源图像或者参考图像)进行抠 图操作的具体步骤包括：

A、根据人脸检测，得到各人脸细部特征的关键点；

通过调用landmark API，Face++会将识别出的人脸语义信息以Json 格式反馈回来。在返回的Json中，landmark项中保存了人脸上各个部位 的关键点，包括眉毛，眼睛，鼻子，嘴巴，脸等细部的关键点，每一个细 部位上有多个关键点，用x，y表示这些关键点的位置。

B、将各细部上的关键点连线，得到人脸细部轮廓(背景设置为黑色， 连线设置为白色)；

C、先对人脸细部轮廓进行膨胀处理，再生成Trimap图像，得到各轮 廓图像的前景、背景和未知区域(前景设置为白色、背景设置为黑色、未 知区域设置为灰色)；

D、根据Trimap进行matting抠图；

进行matting抠图的具体步骤如下：

D-1、对各轮廓图像的前景或背景进行小规模的扩展；

D-2、扩展完成后，对剩余的未知区域内的每个像素点P，从像素点P 出发，引出m条路径，每个路径之间成360/m的夹角，记录下每条路径 经过的路线中首次遇到的前景点或背景点，直到超出图像的边缘，得到m 对前景和背景取样点；

为了算法的稳定性，每矩形区域内(矩形区域范围在3×3到9×9之间， 区域越小精度越高)，路径的起始角度周期性的改变，这样与像素点P相 邻的未知像素的m条路径经过的区域就有着较大的不同，能得到更为有效 的结果集。

D-3、将步骤D-2得到的每个像素点P的m对前景和背景取样点带入 目标函数(1)，将使得目标函数(1)值最小的一对取样点作为最佳的前 景和背景取样点，

G_p(f_i,b_j)＝D_p(f_i,b_j)^eDA_p(f_i,b_j)^eAF_p(f_i)^efF_p(b_i)^eb；    (1)

式中：

f_i和b_j是前景和背景取样点；

D_p(f_i,b_j)表明使像素点P的n×n邻域内的色彩失真最小化， 3≤n≤9；

F_p(f_i)和F_p(b_i)表明执行空间关联准则，即前景和背景的取样应该尽 可能的接近像素点P；

e{D,A,f,b}表明对这些指数中较大的值添加处罚；

A_p(f_i,b_j)表明计算出的透明度α_p值关系着像素点P属于前景的概 率，α_p的计算公式如下：

${\alpha }_p=\frac{(C_p-B^j)(F^i-B^j)}{{\left|\right|F^i-B^j\left|\right|}^2}---\left(2\right)$

式中：

α_p表示像素点P的alpha值，即透明度；

C_p表示像素点P的颜色值；

Fⁱ和B^j分别表示任一一对前景点f_i和背景点b_j的颜色值；

将得到各像素点P的最佳的前景和背景取样点的数据带入公式(2)， 计算得到对应像素点P的透明度α_p值：

对于步骤D-2中，无法得到m对前景和背景取样点的像素点P，获取 最佳的前景和背景取样点以及对应的透明度α_p值的方法如下：

对这类像素点P在s×s邻域内，将未知区域内的其他像素点P的最佳 的前景和背景取样点数据带入公式(3)中，3≤s≤9，

$N_p(F^i,B^j)=\left|\right|C_p-({\hat{\alpha }}_p{F}^i+(1-{\hat{\alpha }}_p)B^j)\left|\right|---\left(3\right)$

计算使N_p(Fⁱ,B^j)最小时，α_p的数值；

同时获取N_p(Fⁱ,B^j)最小的3～5个像素点P，对这些像素点P的数据进 行加权平均，得到数据对${\tilde{\tau }}_p^g=({\tilde{F}}_p^g,{\tilde{B}}_p^g,{\tilde{\sigma }}_f^2,{\tilde{\sigma }}_b^2);$

分别表示前景的平均颜色值和背景点的平均颜色值；

分别表示前景点邻域内的局部颜色变化的平均值和背景点邻 域内的局部颜色变化的平均值；

再按照公式(4)、(5)和(6)，计算得到的和作为在 步骤D-2中无法得到m对前景和背景取样点的像素点P的最佳的前景、背 景取样点和透明度值；

$F_p^r=\left(\begin{array}{cc}{C}_p& \mathrm{if}{\left|\right|C_p-{\tilde{F}}_p^g\left|\right|}^2\le {\tilde{\sigma }}_f^2\\ {\tilde{F}}_p^g& \mathrm{otherwise}\end{array}\right);---\left(4\right)$

$B_p^r=\left(\begin{array}{cc}{C}_p& \mathrm{if}{\left|\right|C_p-{\tilde{B}}_p^g\left|\right|}^2\le {\tilde{\sigma }}_b^2\\ {\tilde{B}}_p^g& \mathrm{otherwise}\end{array}\right);---\left(5\right)$

${\alpha }_p^r=\frac{(C_p-B_p^r)·(F_p^r-B_p^r)}{{\left|\right|F_p^r-B_p^r\left|\right|}^2};---\left(6\right)$

D-4、对得到的剩余的未知区域内的所有像素点P的最佳的前景和背 景取样点以及对应的透明度α_p值进行平滑处理，完成抠图处理。

(3)对步骤(2)中得到的源图像的人脸细部语义信息利用用户笔触 的交互方式进行精细抠图，具体方法如下：

ⅰ、通过两种不同颜色，人为区分各人脸细部图像的前景与背景，同 时得到未知区域；

ⅱ、每一个未知区域Ω中的像素点P表示一个节点，去连接它周围四 连通域中的节点N(p)，用图结构来表示马尔可夫随机场，将未知区域建 模为马尔可夫随机场，对马尔可夫随机场中的每一个像素点P进行采样， 得到所有像素点P的前景和背景颜色值，并构建能量方程(7)；

$E=\underset{p\in \Omega }{\Sigma }(E_d\left(p\right)+\lambda E_s\left(p\right))---\left(7\right)$

式中，

数据项$E_d\left(p\right)=\frac{1}{N^2}\underset{i=1}{\overset{N}{\Sigma }}\underset{j=1}{\overset{N}{\Sigma }}{\left|\right|C_p-{\alpha }_p{F}_p^i-(1-{\alpha }_p)B_p^j\left|\right|}^2/{\sigma }_p^2;$

和表示未知区域内任一像素点P的前景和背景的颜色值；

α_p表示像素点P的alpha值，即透明度；

C_p表示像素点P的颜色值；

表示C_p和的距离方差；

||...||表示RGB色彩空间中的欧式距离；

光滑项$E_s\left(q\right)=\underset{q\in N\left(p\right)}{\Sigma }{({\alpha }_p-{\alpha }_q)}^2/\left|\right|C_p-C_q\left|\right|;$

像素点q表示像素点P在r×r邻域内的任一点像素，3≤r≤9；

自适应动态权重$\lambda =e^{-{(k-\beta )}^3};$

k表示迭代次数；

β表示一个可以调节的常数；

e为自然常数；

ⅲ、将数据项和光滑项带入能量方程，得到公式(8)，将边界条件带 入公式(8)能够获取图像matte；

$E=\underset{p\in \Omega }{\Sigma }(\frac{1}{N^2}\underset{i=1}{\overset{N}{\Sigma }}\underset{j=1}{\overset{N}{\Sigma }}{\left|\right|C_p-{\alpha }_p{F}_p^i-(1-{\alpha }_p)B_p^j\left|\right|}^2/{\sigma }_p^2+\lambda \underset{q\in N\left(p\right)}{\Sigma }{({\alpha }_p-{\alpha }_q)}^2/||C_p-C_q|\left|\right)---\left(8\right)$

其中，边界条件为${\alpha }_p^{*}{|}_{\partial \Omega }=\left(\begin{array}{cc}1& p\in {\Omega }_F\\ 0& p\in {\Omega }_B\end{array}\right),$Ω_F表示前景区域，Ω_B表 示背景区域。

定义${\Omega }_F^{+}=\{p\in \Omega |{\alpha }_p\ge 0.99,C_p\widetilde{‾}{F}_p\},$保证像素点在中一定属于前 景；

定义${\Omega }_B^{+}=\{p\in \Omega |{\alpha }_p\le 0.01,C_p\widetilde{‾}{B}_p\},$保证像素点在中一定属于背 景；

ⅳ、更新和同时利用公式(9)增强F_p和B_p；

$(F_p,B_p)=\arg \underset{F_p^i,B_p^j}{\min }\left|\right|C_p-\alpha F_p^i-(1-\alpha )B_p^j\left|\right|---\left(9\right)$

F_p和B_p为像素点P的前景点和背景点；

ⅴ、重复步骤ⅱ-ⅳ，直到和都为空；

ⅵ、迭代终止，完成收敛。

(4)根据参考图像各语义信息的颜色风格，调整源图像中的对应语 义信息的颜色风格，具体步骤包括：

4-1、把源图像和参考图像由RGB色彩空间转换为Lab色彩空间，因 为Lab三个通道之间的相关性很弱；

4-2、分别计算源图像和参考图像的三个通道的均值和方差；

4-3、对源图像的每一通道的每个像素点作运算：

p＝(p-m₁)·(d₂/d₁)+m₂，m₁、m₂、d₁、d₂分别为源图像和参考图 像在Lab色彩空间下任一通道的均值和方差，p为对应像素值；

4-4、把源图像由Lab色彩空间转换回RGB色彩空间；

4-5、对转换回的RGB色彩空间的源图像作越界检测矫正处理。

(5)将经过步骤(4)调整的源图像的各语义信息重新拼合，得到目 标图像。通过alpha混合将源图像的各语义信息重新拼合，混合公式如下：

R(c)＝alpha×R(b)+(1-alpha)×R(a)；

G(c)＝alpha×G(b)+(1-alpha)×G(a)；

B(c)＝alpha×B(b)+(1-alpha)×B(a)；

其中，a表示不透明图像的颜色，b表示透明图像的颜色，透过b看a 看到的颜色为c。设b的透明度为alpha，alpha∈[0,1]，0表示完全透明， 1表示完全不透明。

本实施例中，将人物照片，即需要被转换风格的源图像和作为风格参 照的参考图像的场景语义信息和人脸细部语义信息分离出来，之后进行一 一对应的颜色转换，有效保留了源图像的内容，准确获得参考图像的颜色 空间分布，使转化后的源图像且具有较强的视觉连贯性，提高照片颜色风 格转换效果。