一种基于主体调整的图像构图美化方法及系统

摘要

本发明公开了一种基于主体调整的图像构图美化方法，包括以下步骤：（1）对图像进行主体区域检测，得到主体检测图；（2）对主体检测图进行形态学处理及二值化，得到主体掩码二值图；（3）利用主体掩码二值图从图像中移出主体，依照主体最佳比重规律，对主体进行缩放，调整主体尺寸；（4）利用基于样例的图像修复算法，填充图像中移出主体后的空白区域，得到背景图；（5）根据构图美学中的三分法则，把缩放后的主体，移动到背景图中，得到美化后的图像。本发明还公开了一种基于主体调整的图像构图美化系统。本发明实现了对图像构图的自动美化，且具有运算速度快、可行性强、自动美化效果好的优点。

说明书

技术领域

本发明涉及图像智能处理领域，特别涉及一种基于主体调整的图像构图美 化方法及系统。

背景技术

在互联网非常普及的今天，人们每天都会从电脑、移动终端上接触到海量 的图像信息。人们特别青睐具有美感的图像，因为它带给人们愉悦的视觉感受 和强烈的视觉冲击力，唤起观看者的情感交流。在这种情况下借助电脑和移动 终端对图像信息进行加工、美化以满足人的视觉心理有了巨大的需求。研究表 明构图是图像美感的重要指标。构图是指在一定的空间，合理安排和处理人、 景、物的关系与位置，获得图像的最佳布局，实现图像美学上的统一感受，以 更好的表现图像主题思想和美感效果。在摄影和绘画中构图是基础也是核心， 它直接关系到整个图像的优劣成败。

主体是图像主要表现的对象，是主题思想的重要体现者，是控制图像全局 的焦点。对于人文、风景、静物等包含主体的图像，主体是图像的核心，在图 像中起绝对主导作用，好的构图很大程度上取决于主体的位置和大小。主体是 摄影师、绘画者主观上想要突出的对象，包括主要人物形象、主要动物形象、 主要植物形象、主要景物形象等。成功的构图是将尺寸合适的主体合理地安排 在恰当的位置，使得图像主次分明、主体突出达到令人赏心悦目的境界。人们 在长期的摄影、绘画实践中总结了一些常用的构图法则，比如三分法则、主体 最佳比重规律、对角占优法则等，这些法则告诉人们在摄影、绘画时需要考虑 的各个因素，合理的利用这些构图法则能够得到令人舒适的构图效果。

随着数码相机的普及应用，越来越多的人希望能拍摄出具有美感的图像， 但大多数非专业拍摄者都缺乏美学常识和经验，因此如何对图像进行构图美化 成了困扰他们的难题。在摄影和绘画中最常用的构图法则是三分法则和主体最 佳比重规律，综合使用这两个法则可以使图像在视觉上非常有条理，主体非常 突出，以更好地表现图像的变化和动感，呈现出具有美感的图像。利用电脑和 移动终端对包含主体的图像按照三分法则、主体最佳比重规律进行构图自动美 化并提供摄影指导，调整图像主体大小与位置，不仅能够提高缺乏美学经验的 业余摄影者的摄影质量，还能帮助熟练的摄影师用来加快对图像的构图美化。 Photoshop等常用的图像处理软件，都需要用户手工对图像进行美化，这种非自 动性的图像美化，给普通的摄影用户带来了操作上的困难。目前，在图像处理 和计算机视觉领域内，图像构图美学研究在国外刚刚兴起，主要涉及提取图像 美学特征，对图像构图优劣进行自动评估和自动美化。国内仅见到浙江大学陈 仁杰等人进行了相关研究，但他们主要是对图像进行裁剪得到一系列子图像， 通过对子图像进行美学排序和重映射调整，得到构图美化后的图像。其方法取 决于裁剪的子图像，如果没有裁剪到合适的子图像可能无法达到理想的美化效 果，且算法较为耗时。

三分法则：是绘画和摄影中最知名、最常用的构图法则之一，它实际上是 著名的“黄金比例分割”的简化版，可使图像更生动、美观。具体为：用两条 水平线和垂直线将图像分成9个相等的方块，称为“九宫图”。直线和横线相 交的四个点，是人们视觉最敏感的地方，称为力量点。研究表明当主体处于这4 个力量点附近时最容易吸引观看者“眼球”，主体更加鲜明、突出，而且能更 好地发挥图像主体在图面上的组织作用，使图像中周围景物展现协调和联系， 容易引起人类视觉美感。

主体最佳比重规律：通过统计大量专业摄影图像中主体所占图像面积比重， 已有相关研究量化出具有美感的构图图像中主体的最佳尺寸比例。研究发现美 学图像虽然来源不同、主体类型各异，然而主体区域面积大多分布在0.1，0.56 和0.82附近，分别对应小比例区域、中比例区域和大比例区域，称之为主体最 佳比重规律。

发明内容

为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种基于主 体调整的图像构图美化方法，实现对图像构图的自动美化，简单有效，运行速 度快。

本发明的另一目的在于提供一种基于主体调整的图像构图美化系统。

本发明的目的通过以下技术方案实现：

一种基于主体调整的图像构图美化方法，包括以下步骤：

（1）对图像进行主体区域检测，得到主体检测图；

（2）对主体检测图进行形态学处理及二值化，得到主体掩码二值图；

（3）利用主体掩码二值图从图像中移出主体，依照主体最佳比重规律，对 主体进行缩放，调整主体尺寸；

（4）利用基于样例的图像修复算法，填充图像中移出主体后的空白区域， 得到背景图；

（5）根据构图美学中的三分法则，把缩放后的主体，移动到背景图中，得 到美化后的图像。

步骤（1）所述对图像进行主体区域检测，具体包括以下步骤：

（1-1）对图像进行显著区域检测，得到显著图；

（1-2）对显著图进行图像分割，得到多个分割块；

（1-3）根据分割块的平均显著性选择分割块，组合成主体检测图。

步骤（1）所述对图像进行主体区域检测，还包括以下步骤：

（1-4）采用交互式主体区域检测对步骤（1-3）得到的主体检测图进行修补。

步骤（2）所述对主体检测图进行形态学处理及二值化，得到主体掩码二值 图，具体为：

（2-1）对主体检测图中的主体进行膨胀处理；

（2-2）对膨胀处理后的主体检测图进行二值化处理，其中主体区域为白色， 其余部分为黑色。

步骤（3）所述利用主体掩码二值图从图像中移出主体，依照主体最佳比重 规律，对主体进行缩放，调整主体到合适尺寸，具体为：

将主体掩码二值图与图像进行与运算，从图像中移出主体，分别用矩形框 截取图像和主体掩码二值图中的主体区域，分别得到主体最大外接矩形图和主 体掩码最大外接矩形图，根据主体最佳比重规律，对主体最大外接矩形图和主 体掩码最大外接矩形图进行缩放，使主体最大外接矩形图和图像的尺寸比例、 主体掩码最大外接矩形图和主体掩码二值图的尺寸比例为最佳比重，最后将缩 放后的主体掩码最大外接矩形图与主体最大外接矩形图进行与运算，提取出缩 放后的主体；所述最佳比重的取值范围为0.09～0.11，或0.55～0.57，或0.81～0.83。

步骤（4）所述基于样例的图像修复算法为基于样例的高效图像修复算法， 具体为：

令Ω是待修复的目标区域，即图像中移出主体后的空白区域；φ是图像的原 始区域；δΩ是Ω与φ的分界线，即待修复区域前端；设像素块ψ_p∈Ω，像素块 ψ_q,ψ_q1∈φ；ψ_p是以p点为中心，大小为n×n的区域，是待修复的像素块；ψ_q是 搜索到的ψ_p最佳替换样例，即在φ中与ψ_p最为相似的像素块，大小为n×n；是ψ_p的较小最佳替换样例，大小为m×m，m<n；

基于样例的高效图像修复算法包括以下步骤：

（4-1）提取待修复区域Ω和原始区域φ的边界线δΩ；

（4-2）对利用公式P(p)=C(p)D(p)计算像素点p的优先权，其中， $C\left(p\right)=\frac{{\Sigma }_{q\in {\psi }_p\cap (r=\Omega )}C\left(q\right)}{\left|{\psi }_p\right|}$是置信因子，$D\left(p\right)=\frac{|{▿I}_p^{\perp }•n_p|}{\alpha }$是数据因子，|ψ_p|是ψ_p的面积， α是权重， n_p是δΩ上的点p的法向量，是像素点p的光照度线；在初始化 的时候，$\forall p\in \Omega ,\forall q\in \phi ,C\left(q\right)=1;$

（4-3）根据步骤（4-2）计算得到待修复区域边界δΩ上像素点p的优先权， 找到优先权最大的像素块ψ_p，确定为最先修复的待修复像素块；

（4-4）寻找像素块ψ_p的最佳替换样例：

以待修复像素块ψ_p的中心p为圆心，设置搜索半径为R，得到一个圆形搜索 范围，对在圆形搜索范围内且在φ中的像素块进行计算，找到与ψ_p均方差最小 且大小为n×n的像素块ψ_q，ψ_q即为最佳替换样例；

（4-5）替换待修复像素块：

保持最佳替换样例中心点不变，用m×m的窗口截取最佳替换样例ψ_q，得到 m×m的较小最佳替换样例，用较小最佳替换样例替换待修复区域中的目标区域；

（4-6）更新ψ_p中的置信因子：将p点处的置信因子更新为较小最佳替换样 例中心像素点q的置信因子；

（4-7）重复（4-1）～（4-6），直到Ω=φ，即待修复区域全部填充完毕。

步骤（1-1）所述显著区域检测，具体为：

对于一张图像I，令I_u为图像I所有像素的平均值，I_w为图像I高斯模糊后 的图像，I_u和I_w都用Lab颜色空间表示，通过计算I_w和I_u的欧几里德距离来计算 显著性，显著图S由公式S(x,y)=||I_u-I_w(x,y)||得到。

步骤（1-3）所述根据分割块的平均显著性选择分割块，组合成主体检测图， 具体为：

计算每个分割块k的平均显著性S_k：

$S_k=\frac{\underset{i=1}{\overset{n}{\Sigma }}\left|\right|I_m-I_j\left|\right|}{n}$

其中，n为分割块k中像素总数，I_j为点j的像素值，I_m是分割块k中所有像 素的平均值；如果S_k>2×S_u，即分割块k的平均显著性大于整幅图像的平均显著 性的两倍，标记出这个分割块，最后将所有被标记的分割块组合，得到主体检 测图。

步骤（5）所述根据构图美学中的三分法则，把缩放后的主体，移动到背景 图中，得到美化后的图像，具体为：

根据三分法则，首先用两条水平线和两条垂直线将图像划分成相等的九部 分，四条直线的四个相交点为力量点，将缩放后的主体质心移动到力量点上， 得到美化后的图像。

一种基于主体调整的图像构图美化系统，包括

主体检测模块，用于对图像进行主体区域检测，得到主体检测图；

主体掩码二值处理模块，用于对主体检测图进行形态学处理及二值化，得 到主体掩码二值图；

主体尺寸调整模块，用于利用主体掩码二值图从图像中移出主体，依照主 体最佳比重规律，对主体进行缩放，调整主体尺寸；

背景修复模块，用于利用基于样例的图像修复算法，填充图像中移出主体 后的空白区域，得到背景图；

主体位置处理模块，用于根据构图美学中的三分法则，把缩放后的主体， 移动到背景图中，得到美化后的图像。

本发明的原理是基于摄影和绘画中常用的法则和规律，即三分法则和主体 最佳比重规律。三分法则可使图像更生动、美观，但仅仅依靠三分法则移动主 体位置还不能够实现对包含主体图像的构图美化，主体所占图像面积比重在构 图美化中也具有重要作用，只有合适的主体大小才能呈现出良好的视觉效果。

与现有技术相比，本发明具有以下优点和有益效果：

（1）本发明创造性地提出了一种利用三分法则和主体最佳比重规律对包含 主体的图像进行构图自动美化的具体可行的方法和系统，以人们最熟知的构图 法则——三分法则和主体最佳比重规律为依据，结合图像处理方法提取有效的 特征，利用主体区域检测，基于样例的高效图像修复算法，通过自动调整图像 主体的大小和位置，实现了基于主体调整的图像构图自动美化。本发明的方法 和系统简单有效，运行速度快，可使得处理后图像满足构图法则而更具美感， 可行性强。本发明可在计算机版和移动终端版上实现。

（2）本发明的主体区域检测方法，在用户对检测到的主体区域不满意的情 况下，可再采用交互式主体区域检测对其进行修补，直至检测到满意的主体区 域，进一步使处理后图像更具美感。

（3）本发明的基于样例的高效图像修复算法，在搜索最佳样例时，并不是 对整个原始区域进行搜索，而是以待修复像素块的中心为圆心，设置搜索半径 为R，在原始区域内得到一个扇形搜索范围，缩小了搜索范围，提高了算法运行 速度。在替换待修复像素块时，采用较小最佳替换样例替换待修复区域中的目 标区域，防止产生马赛克现象，提高了修复准确度。

附图说明

图1为本发明的实施例的基于主体调整的图像构图美化方法的流程图。

图2为本发明的实施例的智能主体区域检测流程图。

图3为本发明的实施例的基于样例的高效图像修复算法的流程图。

图4为本发明的实施例的待美化原图像。

图5为经本发明的实施例的基于主体调整的图像构图美化方法处理后的图 像。

图6为本发明的实施例的基于主体调整的图像构图美化系统的结构图。

具体实施方式

下面结合实施例，对本发明作进一步地详细说明，但本发明的实施方式不 限于此。

实施例

如图1所示，本实施例的基于主体调整的图像构图美化方法，包括以下步 骤：

（1）对图像进行主体区域检测，得到主体检测图，如图2所示，具体包括 以下步骤：

（1-1）对图像进行显著区域检测，得到显著图；

本发明采用一种基于Lab颜色空间的显著区域检测算法来产生显著图，它 利用图像的颜色和亮度特征计算显著性，具体为：

对于一张图像I，令I_u为图像I所有像素的平均值，I_w为图像I高斯模糊后 的图像，I_u和I_w都用Lab颜色空间表示，通过计算I_w和I_u的欧几里德距离来计算 显著性，显著图S由公式1得到；

S(x,y)=||I_u-I_w(x,y)||    （1）

得到图像显著图后计算图像平均显著性S_u：

$S_k=\frac{\underset{i=1}{\overset{n}{\Sigma }}\left|\right|I_u-I_i\left|\right|}{n}---\left(\text{2}\right)$

其中，n为图像中像素总数，I_i为点i的像素值，I_u是图像所有像素的平均 值；

（1-2）采用Mean Shift分割算法对显著图进行图像分割，得到主体检测图：

Mean Shift分割算法是很成熟的图像分割算法，综合考虑图像的空间信息和 色彩信息，组成一个3+2维的向量x=(x^s,x^r)，其中x^s表示像素点的坐标，x^r表 示该像素点上3维颜色信息，Mean Shift向量M_h(x)表示样本点x_i相对于数据点x 的偏移量的平均值，指向样本点x_i变化最大的地方。M_h(x)具体形式由公式3可 得：

$M_h\left(x\right)=\frac{\underset{i=1}{\overset{n}{\Sigma }}K\left(\frac{x_i-x}{h}\right)\omega \left(x_j\right)x_i}{\underset{i=1}{\overset{n}{\Sigma }}K\left(\frac{x_i-x}{h}\right)\omega \left(x_i\right)}---\left(3\right)$

将公式（3）右边第一项记为m_h(x)，如公式4所示：

$m_h\left(x\right)=\frac{\underset{i=1}{\overset{n}{\Sigma }}K\left(\frac{x_i-x}{h}\right)\omega \left(x_i\right)x_i}{\underset{i=1}{\overset{n}{\Sigma }}K\left(\frac{x_i-x}{h}\right)\omega \left(x_i\right)}---\left(4\right)$

其中ω(x_i)为采样点x_i的权重，离x近的采样点x_i有较大的权重，即离x越近 的采样点对估计x周围的统计特性越有效；K(x)为核函数，用来估计x的分布； 参数h称为带宽，表示核大小。本实施例中核函数采用高斯核函数（可以根据实 际需要选取其他核函数），如公式5所示。

$K\left(x\right)=\frac{1}{\sqrt{2\pi }}\exp (-\frac{1}{2}{x}^2)---\left(5\right)$

假设{x_i}_i=1,…,n和{z_i}_i=1,…,n分别表示图像和分割图像后的图像。利用Mean Shift 进行图像分割首先给定允许误差ε，然后对每一个像素点进行如下操作：

①初始化j=1，并且使y_i,1=x_i，其中{y_j},j=1,…,n表示Mean Shift算法中移 动点的痕迹；

②计算m_h(x)并将其赋给x；

③如果||m_h(x)-x||<ε，Mean Shift过程结束，记收敛后的值为y_i,c；否则， 继续执行步骤①；

④赋值$z_i=(x_j^s,y_{i,c}^r);$

⑤收敛至同一点的起始点归为一类，合并像素点过少的类，融合局部像素， 得到分割结果；

（1-3）根据分割块的平均显著性选择分割块，组合成主体检测图，具体为：

计算每个分割块k的平均显著性S_k：

$S_k=\frac{\underset{i=1}{\overset{n}{\Sigma }}\left|\right|I_m-I_j\left|\right|}{n}---\left(6\right)$

其中，n为分割块k中像素总数，I_j为点j的像素值，I_m是分割块k中所有像 素的平均值。如果S_k>2×S_u，即分割块k的平均显著性大于整幅图像的平均显著 性的两倍，标记出这个分割块，最后将所有被标记的分割块组合，得到主体检 测图。

步骤（1-1）～（1-3）称为智能主体区域检测，智能主体区域检测得到的主 体检测图可能不是十分精确，主体边缘的小部分可能没有提取到，如果用户对 检测到的主体区域不满意，则再进行以下步骤：

（1-4）采用交互式主体区域检测对步骤（1-3）得到的主体检测图进行修补； 交互式主体区域检测为采用交互式迭代图割算法综合利用图像中的纹理信息和 边界信息，只要少量的用户交互操作就可得到比较好的分割结果，能有效的从 复杂背景中提取主体，算法执行效率也较高；

交互式迭代图割算法包括如下步骤：

①初始化，用户在主体区域周围画一个矩形框将主体框入，同时标记主体 和背景。

②对图像进行分割：对框内标记的主体和背景进行颜色随机采样，对采样 到的主体和背景颜色，使用高斯混合模型建立主体颜色模型和背景颜色模型， 在框内作标记；如果有像素被标记为主体则继续采样，再建立颜色模型，再进 行迭代式图割，直到分割出来的主体不再变化，即迭代收敛，停止迭代，显示 主体；

③如果用户对结果不满意，再在图像中设定主体和（或）背景，再次进 行分割。

（2）对主体检测图进行形态学处理及二值化，得到主体掩码二值图，具体 为：

（2-1）对主体检测图中的主体进行膨胀处理，以消除主体区域内部可能存 在的砂眼，同时使得主体区域边缘光滑；

（2-2）对膨胀处理后的主体检测图进行二值化处理，其中主体区域为白色， 其余部分为黑色。

（3）利用主体掩码二值图从图像中移出主体，依照主体最佳比重规律，对 主体进行缩放，调整主体尺寸，具体为：

将主体掩码二值图与图像进行与运算，从图像中移出主体，分别用矩形框 截取图像和主体掩码二值图中的主体区域，分别得到主体最大外接矩形图和主 体掩码最大外接矩形图，根据主体最佳比重规律，对主体最大外接矩形图和主 体掩码最大外接矩形图进行缩放，使主体最大外接矩形图和图像的尺寸比例、 主体掩码最大外接矩形图和主体掩码二值图的尺寸比例为最佳比重，最后将缩 放后的主体掩码最大外接矩形图与主体最大外接矩形图进行与运算，提取出缩 放后的主体；所述最佳比重的取值范围为0.09～0.11，或0.55～0.57，或0.81～0.83。

（4）利用基于样例的高效图像修复算法，填充图像中移出主体后的空白区 域，得到背景图；

所述基于样例的高效图像修复算法，具体为：

令Ω是待修复的目标区域，即图像中移出主体后的空白区域；φ是图像的原 始区域；δΩ是Ω与φ的分界线，即待修复区域前端；设像素块ψ_p∈Ω，像素块 ψ_q,ψ_q1∈φ，；ψ_p是以p点为中心，大小为n×n的区域（n可以根据实际需要进行 选取，本实施例选取n=8），是待修复的像素块；ψ_q是搜索到的ψ_p最佳替换样例， 即在φ中与ψ_p最为相似的像素块，大小为n×n；ψ_q1是ψ_p的较小最佳替换样例， 大小为m×m，m<n（m可以根据实际需要进行选取，本实施例选取m=4）；

基于样例的高效图像修复算法，如图3所示，具体包括以下步骤：

（4-1）提取待修复区域Ω和原始区域φ的边界线δΩ；

（4-2）对利用公式（7）计算像素点P的优先权：

P(p)=C(p)D(p)    （7）

其中，C(p)是置信因子，D(p)是数据因子，分别由公式（8）和公式（9） 计算得到：

$C\left(p\right)=\frac{{\Sigma }_{q\in {\psi }_p\cap (r=\Omega )}C\left(q\right)}{\left|{\psi }_p\right|}---\left(8\right)$

$D\left(p\right)=\frac{|{▿I}_p^{\perp }•n_p|}{\alpha }---\left(9\right)$

其中|ψ_p|是ψ_p的面积，α是权重，一般取α=255，n_p是δΩ上的点p的法向 量，是点p的光照度线；在初始化的时候，

（4-3）根据步骤（4-2）计算得到待修复区域边界δΩ上像素点p的优先权， 找到优先权最大的像素块ψ_p，确定最先修复的待修复像素块；

（4-4）寻找像素块ψ_p的最佳替换样例：

以待修复像素块ψ_p的中心p为圆心，设置搜索半径为R（R可以根据实际需 要进行选取，本实施例选取R=50），得到一个圆形搜索范围，对在圆形搜索范围 内且在φ中的像素块进行计算，找到与ψ_p均方差最小且大小为n×n的像素块ψ_q， ψ_q即为最佳替换样例；

（4-5）替换待修复像素块：

保持最佳替换样例中心点不变，用m×m的窗口截取最佳替换样例ψ_q，得到 m×m的较小最佳替换样例，用较小最佳替换样例替换待修复区域中的目标区域；

（4-6）更新ψ_p的置信因子：将p点处的置信因子更新为较小最佳替换样例 中心像素点q的置信因子；

（4-7）重复（4-1）～（4-6），直到Ω=φ，即待修复区域全部填充完毕。

（5）根据三分法则，首先用两条水平线和两条垂直线将图像划分成相等的 九部分，四条直线的四个相交点为力量点，将缩放后的主体质心移动到合适的 力量点上：计算原图中主体质心和四个力量点的距离，将缩放后的主体移动到 背景图中对应原图最近的力量点，如果主体区域过大，超出了图像边界，或者 主体区域过小导致移动后主体与背景关系不协调（如人物悬空等），则重新移动 主体到其它就近的力量点，最后得到美化后的图像。

采用本实施例的基于主体调整的图像构图美化方法处理前、后的图片见图 4～5。

如图6所示，本实施例的基于主体调整的图像构图美化系统，包括

主体检测模块100，用于对图像进行主体区域检测，得到主体检测图；

主体掩码二值处理模块200，用于对主体检测图进行形态学处理及二值化， 得到主体掩码二值图；

主体尺寸调整模块300，用于利用主体掩码二值图从图像中移出主体，依照 主体最佳比重规律，对主体进行缩放，调整主体尺寸；

背景修复模块400，用于利用基于样例的高效图像修复算法，填充图像中移 出主体后的空白区域，得到背景图；

主体位置处理模块500，用于根据构图美学中的三分法则，把缩放后的主体， 移动到背景图中，得到美化后的图像。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实 施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、 替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。