基于颜色转换和编辑传播的图像季节特征增强方法

摘要

本发明属于计算机视觉领域，是一种基于颜色转换和编辑传播的图像季节特征增强方法，包括：输入一张目标图像，从场景库中选择一张特定季节图像作为参考图像，对目标图像进行颜色转换；对目标图像进行前景提取，获取前景对象的轮廓信息；选取一个特定的前景对象作为模板，在目标图像中提取与模板相似的重复前景对象；从对象库中选取符合特定季节特征的插入对象，并在目标场景中指定一个插入位置，对该对象旋转和缩放以保证视觉合理；将插入对象自动地进行编辑传播；最后，对所有插入的对象与场景图像进行融合，形成最终的具有指定季节特征的场景。本发明可广泛应用推广到影视制作、城市规划等领域。

说明书

技术领域

本发明涉及图像处理、计算机视觉和增强现实领域，具体地说是一种基于颜色转换和编 辑传播的图像季节特征增强方法。

背景技术

数字图像领域中，最常见的图像处理方法之一是改变图像的视觉效果。对于艺术设计者 或者摄影爱好者来说，为了得到同一个场景不同季节的场景图像，将进行大量的手工编辑或 者耗费大量的时间定点拍摄。事实上，同一个场景在不同的季节有很多的特点，举例来说， 夏季里场景颜色一般为碧绿色而秋季一般以金黄色为主；花儿在春天开放秋季凋谢等等。这 些不同季节里具有很强可区分的特点为我们设计一个场景季节特点增强系统提供了可行条 件。一个具有明显季节特点的场景，不仅在颜色信息上可以很容易的区分，而且在场景内容 上的各种对象也标志了一个季节的特色。

目前，一些科研工作者在相关技术上开展了研究。在颜色风格一致化方面，2001年，布 里斯托大学的E.Reinhard等人是利用颜色空间的转换，将目标图像和参考图像首先从RGB颜 色空间转换到lαβ颜色空间，然后在这三个通道上分别求取二阶统计量期望方差，再针对目 标图像的每一个像素，进行缩放旋转，求得的最终结果转换为RGB颜色空间即为结果图像的 像素颜色值。该方法简单有效，但是针对复杂的图像，需要用户指定样本进行颜色转换。针 对这个问题，2005年，日本的Chang等人提出了一种基于颜色分类的方法实现颜色转换。首 先将目标图像和参考图像按照颜色差异，分成多个颜色类，然后在对应的颜色类之间进行颜 色转换。Pitie.F等人以一种全新的思路，在证明了N维概率密度函数转移的可行性并将它运 用到颜色迁移领域。在灰度图像中，利用直方图规定化实现图像灰度变换使其具有特定的直 方图形式。直方图是概率分布密度的体现，而直方图规定化是目标图像概率分布密度映射到 期望概率分布密度的过程，也就一维概率密度函数转移。而N维概率密度函数转移是基于一 维展开的。设f(x)和g(x)是源图像和目标图像的颜色概率密度分布，x_i＝(r_i，g_i，b_i)，r_i、g_i、b_i分别代表红绿蓝三色，选择任意一个旋转矩阵尺，旋转后对N维分别作一维概率密度函数转 移，重复多次，直到收敛，得到迁移后的新图像。该方法生成的结果图像颜色过渡不平滑， 有很多块状，需要通过二次处理对图像进行平滑。但是，上述自动方法容易产生一些不自然 的着色效果，因此，针对自动颜色转换方法中的这些问题，出现了一些基于交互式的颜色转 换方法。从2001年Welsh提出了灰阶影像着色，开启了灰度图像着色的简单、省时的道路， 推动了该领域的研究的进展。该算法需要由用户从目标图像和目标图像中分别选出适当大 小、位置与数量的样本快，并指定目标图像样本块与目标图像中样本块的对应关系。Welsh 算法不是使用L型或者Box型邻域进行最佳匹配邻域搜索方法进行综合的算法，而是直接匹配 图像的亮度数值和邻域的标准方差。它也是使用lαβ颜色空间先将目标图像进行亮度和颜色 的分离，从目标图像中等间隔的提取一定的样本点，然后使用匹配算法搜索出处理图像每一 个点所对应的目标图像像素点，最后使用这种索引信息构建处理图像的和β，将彩色图像 中的颜色转移到灰度图像中，并变换回RGB颜色空间。这就是Welsh算法的颜色迁移过程。 该方法不能保证处理后图像颜色在空间上的连续性，即本来相邻的、颜色相近的区域可能由 于亮度差异而被分配了截然不同的颜色。Takahiko将概率松弛法引入颜色迁移，以选取最优 的颜色信息迁移给目标图像素。2003年Takahiko等人又提出种子像素的概念，由用户选取一 些彩色像素作为灰度图像的种子，利用颜色繁殖完成颜色迁移。Tomohisa等人改进了颜色繁 殖算法，引入图像分割防止错误繁殖边缘像素颜色，并提出了新的基于CIELAB颜色空间的 彩色化算法。上述的这些方法，不能保证结果图像既能在颜色视觉上逼近参考图像的颜色的 同时，保持目标图像的颜色流形线性结构。

在图像编辑方面，大量的研究工作已经对此进行了探讨。而场景重复元素检测是图像编 辑领域中的一个重要研究方向。1996年，Malik等人提出了一种基于图结构模型的方法来检 测场景重复元素。在这个图结构模型中，以所有场景元素作为图节点而以节点间的仿射变换 作为图结构模型中的边。通过自增长和匹配的方式，来检测出场景中所有的重复元素；2007 年，Ahuja等人通过在场景分割树中寻找结构相似的子树的方式来检测场景中的所有重复元 素；Cheng等人在2010年提出了一种基于BBM(Boundary Band Map)的交互式方式来检测和 提取场景中的重复元素。这些方法通常需要大量的计算时间，同时在复杂场景中准确率不能 给出保证。场景合成方面在近些年也取得了很大的进展。2007年，Lalonde等人提出了一个基 于网络对象库的场景合成系统PhotoClipArt，该系统通过在库中指定对象，然后结合场景地 平线的位置，根据对象插入的位置，自动的调整对象大小；同时，对插入的兑现在光照、颜 色等方面进行融合。但是，该系统只能将对象一个一个的插入到场景中，当需要插入的对象 较多时，用户手工交互较多。2007年Hays等人通过利用网络中海量的对象来对场景中缺失的 对象进行修复。2009年Mathias等人设计了一个基于结构图的图像检索系统来进行图像合成。 总而言之，这些方法都是基于大量手工标注的基础上来实现场景合成，代价较大。

发明内容

根据上述实际需求和关键问题，本发明的目的在于：提出一种基于颜色转换和编辑传播 的图像季节特征增强方法。

本发明采用的技术方案是：基于颜色转换和编辑传播的图像季节特征增强方法，主要包 括将输入目标图像和从场景库中选取的参考图像从RGB颜色空间转换到Lab颜色空间；利用 11基本色，对目标图像和参考图像进行颜色分类，分别求出目标图像和参考图像中每个颜色 类的颜色均值，形成目标图像和参考图像的主色调；利用局部线性嵌入，为目标图像中所有 像素颜色值构建局部线性关系，克服空洞颜色转换过程中出现颜色偏差而造成效果不佳问 题，保证填补后图像场景在视觉上的合理性；利用约束优化罚函数法，通过能量最小化，求 出结果图像中每个像素点的颜色值，并转换会RGB颜色空间；使用Grabcut算法对目标图像进 行前景提取，去掉目标图像中无关的背景图像；利用Active Contour算法对提取出的前景图 像进行轮廓检验，获取前景图像的完整轮廓信息；在检测出轮廓图像的中，交互式的指定一 个完整的对象轮廓，并将它作为轮廓模板，扫描整个轮廓图像，检测出所有的其他同类型对 象；从对象库中选定一个符合指定季节特征的对象，插入到场景中，根据场景中检测出来的 对象尺寸，进行放缩、旋转；以已经插入的对象为参考模板，结合场景图像中已找出来的重 复元素的位置信息，自动地进行编辑传播，生成同类型不同大小、方向的具有季节特征的场 景对象；将生成的对象与颜色转换后的场景进行融合，生成最终的具有指定季节特征的场景。

利用11基本色对图像进行颜色分类，一方面11基本色标准，符合人类视觉对颜色区分的 特征，能够正确的对颜色进行归类；另一方面通过颜色分类，能够尽可能保持目标图像颜色 类的丰富性，使得生成的结果图像的颜色类不丢失。同时，考虑到参考图像的颜色类会比较 少，不能够和目标图像的颜色类建立起一一对应的映射关系。因此，对参考图像采取了缺失 颜色类主色调估计的方法，保证了最终的结果图像在视觉上的合理性。

局部线性关系的保持主要是为保持目标图像颜色空间的线性关系。目标图像颜色空间的 线性关系，反映出了目标图像中整个颜色分布的趋势及其颜色值之间的关系。因此，K近邻 的数量越多，则整个颜色空间的颜色分布结构在颜色转换过程中会保持的越好；颜色转换通 过约束优化罚函数法实现，通过加大目标图像与参考图像的主色调差值之间的权重，使得生 成的结果图像的色调极大限度的逼近参考图像。

使用Grabcut算法对目标图像进行前景提取并去掉目标图像中无关的背景图像是为了为 重复元素检测去除无关的区域。重复元素通常集中出现在场景中的前景部分，因此，背景部 分可以去除。这样处理有如下有点：首先，提高了检测的速度。通过去除场景中没有重复元 素的部分，进一步集中了检测的区域，只需要在提取出来的区域进行匹配检验，在一定程度 上提高了检测的速度；其次，提高了检测准确率。背景部分的颜色、边界等因素会为重复元 素检测带来一定程度的干扰，影响匹配检测的结果。通过去除背景，去除了大部分的影响因 素，检测准确率自然就得到了一定的提高。

利用Active Contour算法对提取出的前景图像进行轮廓检验获取前景图像的完整轮廓信 息是为了进一步去除颜色前景颜色、纹理、光照等因素的影响。本发明在重复元素检测时采 用的是就轮廓的匹配方法而忽略颜色纹理等方面的因素。因此，一方面，若直接在图像上进 行匹配，会因为颜色、纹理、光照等因素的影响，造成错误的检测；另一方面，采用轮廓， 而不是图像所有前景的边界来进行检测，就是进一步去除因颜色、光照等产生边界而对结果 造成影响。

在检测出轮廓图像的中，检测出所有的其他同类型对象是通过交互式的指定场景中的一 个对象的轮廓作为模板，然后在整个图像中进行匹配检索出其他的同类型对象。在检索的过 程中，由于对象的角度、尺寸等可能不一样，需要对模板进行缩放、旋转，以尽可能多的找 到场景中重复元素。同时，考虑到匹配过程中的误差，对模板边缘进行加粗处理，检索匹配 过程的因轮廓检测带来的影响。在匹配过程中，记录与模板匹配时旋转的角度，放缩的大小， 以便于在插入其他具有季节特征的对象时自动进行大小和方向的调整。

从对象库中选定一个符合指定季节特征的对象插入到场景中，根据场景中检测出来的对 象尺寸大小和方向，对插入对象进行缩放、旋转。为了保证生成的结果在视觉上的合理性， 用户从库中选取一个特定季节的对象后，需要根据场景中已存在的对象，对插入的对象进行 尺寸、方向、颜色、光照等方面进行调整。首先，用户对从库中指定的对象手动进行调整； 然后根据用户手动调整的对象为样本，生成其他同类型对象，自动进行大小、方向调整，保 证在比例、方向上一致协调。为了保证在光照、颜色和场景保持一致，采用泊松无缝融合来 达到与场景亮度、颜色一致。

本发明与现有的技术相比，其有益的特点是：1、本发明根据目标场景中重复元素集中 分布于前景的特点，通过前景提取、轮廓检测等分离出前景轮廓，减少重复元素检测过程中 的匹配区域，去除了检测过程中不必要因素的影响。因此，相对于整个图像全局检测匹配而 言计算开销减少了很多，节约了大量的系统资源。2、本发明采用符合人类视觉特征的11基 本色对输入图像进行颜色分割，避免了在颜色过程为了达到结果的逼真性而进行手动交互， 提高了程序的自动性能，减少了用户不必要的交互。3、本发明首先根据真实具有特定季节 特色的场景进行颜色转换，然后基于该季节的具有特色的场景对象，这种对象本就具有了一 定的季节特色，避免了不必要的对象编辑计算，同时又使合成的场景与真实的自然场景十分 相似。4、本发明场景对象按照季节、语义特点予以分类，没有必要进行大量的人工标注， 在插入对象时，系统会自动的给出一些推荐的对象，因此节省了大量的对象检索时间，提高 了计算效率。5、本发明给出的自动编辑传播方法，会根据目标场景中检测出的对象特征及 用工第一次给出的样本，自动进行对象编辑，在确保生成的场景与真实的自然场景十分近似 的同时，大大的减少了人工交互。

附图说明：

图1是本发明的整体流程图；

图2是本发明的主色调映射的流程图；

图3是本发明局部线性关系的获取流程图；

图4是本发明颜色风格转换流程图；

图5是本发明的编辑传播流程图。

具体实施方式：

下面结合附图对本发明作详细说明。

参阅图1本发明的系统总体流程图，本发明的总体架构主要包括4大部分：该场景季节特 点增强系统总体上要做到以下内容：(1)设计并实现一个场景颜色风格化处理软件，通过 使用11标准色，对目标场景的颜色进行转换；(2)对颜色转换后的场景，通过前景提取、 图像轮廓提取、交互式指定模板、场景重复元素匹配等步骤，检测场景中的重复元素；(3) 从对象库中选取一个符合指定季节特色的对象，通过交互式指定插入位置、编辑大小、方向、 光照、颜色等将对象插入到场景；(4)根据已经插入的对象，自动的生成同类型的对象并 进行编辑传播，生成最终的场景。

参阅图2本发明的主色调映射示意图，图像的主色调主要指能代表给定图像颜色风格的 几种颜色值。对一堆杂乱无章的数据，通常通过求取期望、方差等统计属性来表示这堆数据 的统计性能。在一类性质近似的颜色类中，我们同样采用统计属性期望来表示某一类颜色的 主色调。主色调的求取方法是：首先，根据颜色分类的结果，求取每一类中像素的个数；其 次，对每一类像素在RGB三个通道上分别求取三个通道的颜色值和；最后，在三个通道上求 取均值，得到该类的主色调颜色值。而对于一副给定的图像，一个颜色类中像素个数的多少， 反应了这幅图像颜色分布趋势。因此，一个颜色类中的包含的像素个数越多，则该颜色类的 主色调越能够反映该图像的颜色色调。所以，在进行颜色映射时，目标像素数最多的颜色类 的主色调应该和参考图像中像素数最多的颜色类的主色调建立直接映射关系。

参阅图3本发明局部线性关系的获取流程图，局部线性关系反应了给定像素点的颜色值 和其K近邻之间的权值约束关系。其主要目的是为了解决场景颜色风格化过程中出现的伪边 界的问题。首先找到图像中所有的具有不同的颜色值的像素点。主要的原因在于消除在求解 能量最小化过程中出现伪逆的情况。因此，具有不同颜色值的像素点的获取在本发明的设计 过程中显得较为重要。具有不同颜色值的像素点的获取的原理如下：对于给定目标图像中的 每一个像素点，通过比较该像素点和其他已经获得的具有不同颜色值的像素点的值，如果不 存在与其具有相同颜色值的像素，则将其标志为一个新的颜色值，其比较公式为：

d_ij＝(p_i-p_j)^T(p_i-p_j)

其中，P_i和P_j分别为第i个和第j个像素的三个通道的颜色值，即P_i＝(r_i，g_i，b_i)。

我们假设Q_d＝{q₁，q₂，...，q_k}和R_d＝{r₁，r₂，...，r_k}分别代表目标图像和参考图像的主色调， 集合Q_s＝{q_k+1，q_k+2，...，q_k+n}代表目标图像中所有具有各种不同颜色值的像素点集合，同时， 假设结果图像的所有像素点的颜色值的集合为Z_r＝{z₁，z₂，...，z_n}。在此假设的条件下，局部线 性关系可以这样构建。对于任何一个Q集合中的像素点q_i，它的颜色值能够被它的K近邻和 一组待求解的权值关系这样表示：q_i≈w_j+1q_j+1+w_j+2q_j+2+...+w_j+kq_j+k，确保q_i的颜色值尽可 能的接近w_j+1q_j+1+w_j+2q_j+2+...+w_j+kq_j+k。那么权值集合如何求解呢？通过最小化如下方程， 可以得出权值集合的解。

$W^{*}=\underset{w_{\mathrm{ij}}}{\arg }\min |q_i-\underset{q_j\in N_i}{\Sigma }{w}_{\mathrm{ij}}{q}_j|$

在上述方程中，必须保证并且如果那么，w_ij＝0。其中，w_ij是权值，表示q_j对q_i的影响程度；N_i是第i个像素的邻居点集合。

参考图4本发明颜色风格转换流程图，目的是在保持局部线性关系的前提下，实现目标 图像到参考图像的颜色风格一致化的变换。那么，为了使得结果图像的颜色风格尽可能的逼 近参考图像，实际上则是使得结果图像的主色调的颜色值尽可能的逼近参考图像，基于此， 颜色转换的公式如下面能量最小化公式：

$\underset{\mathrm{Zr}}{\arg }\mathrm{Min}(Z_r^T{(I-W)}^T(I-W)Z_r+{(Z_r-\tilde{Y})}^T\Lambda (Z_r-\tilde{Y}))$

其中，I是一个单位矩阵，Λ为对角矩阵，W是权值矩阵，如果那么Λ_jj＞＞0(本发明中设置为1000000)，否则，Λ_jj＝0。上述方 程可以变换成如下线性方程：

$[{(I-W)}^T(I-W)+\Lambda ]Z_r=\Lambda \tilde{Y}$

参考图5本本发明的编辑传播流程图，在检测出重复元素的基础上，首先检测出一个完 整的对象(树叶)的轮廓。因为如果要把从库中选取的对象(花)插入到对象上，如果插入 的位置超出了边界，则很容易导致结果不合理。在此基础之上，计算出包含对象的最小长方 形，然后对此长方形，根据插入用户交互式插入的样本对象的大小以及该对象本身的大小， 进行划分；同时，结合重复元素查找时计算出来的旋转角度，对插入对象进行仿射变换，得 出一个最合适的旋转角度后，插入到每个小方框的中心。以此为例，对场景中检测的所有重 复对象，进行编辑传播，直到所有的场景重复元素都完成上述操作。然后，利用泊松无缝融 合操作，对插入的对象，与场景进行融合。在融合的过程中，由于插入的对象本身具有季节 特点，所有其本身的颜色没有必要进行很大的改变，只要对插入的对象的边界与场景进行无 缝融合，基本与场景的梯度达到一致即可。

本发明保证基于颜色转换和编辑传播的图像季节特征增强的效果尽可能的逼真，设计并 实现了用分类的方法获取目标图像和参考图像的主色调，尽可能的包含给定图像中的颜色信 息，并建立起他们之间的映射关系，消除了传统的颜色风格一致化方法容易产生伪边界的现 象，设计并实现了基于局部线性关系保持的颜色映射的方法，把参考图像的颜色风格迁移到 目标图像上去，达到场景风格一致化的效果。采用基于前景提取和轮廓检测的方法，减少了 匹配范围，去除了其他因素的影响，提高了计算效率。通过参考用户手动插入、编辑的对象， 自动生成同类型对象并进行编辑传播。通过采用无缝融合，保证了插入对象与场景风格一致 化，效果逼真。

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均 应属于本发明的保护范围。