基于三维显著度的图像扭曲方法

摘要

本发明公开了一种基于三维显著度的图像扭曲方法，其特征是按如下步骤进行：1利用深度数据获得目标图像的深度图；2将深度图和二维模型结合起来构建三维显著度模型；3根据图像灰度的分布自适应的更新深度数据和二维模型之间的权重；4利用三维显著度模型计算图像能量函数梯度；5提取图像二维边缘和深度轮廓特征，利用特征点生成三角网格；6构建目标方程，增加约束；7对目标方程求极值，构建转换关系。本发明能将深度信息与二维显著度进行结合，并增强扭曲的鲁棒性。

说明书

技术领域

本发明属于图像处理领域，主要涉及一种基于三维显著度的图像扭曲方法。

背景技术

随着移动设备例如智能手机和平板电脑的普及，用户习惯将他们所拍摄到的照片上传到 社交网站上与朋友进行分享。考虑到用户使用的移动设备的型号不同，如何使用户分享的照 片在不同终端上都可以很好地显示，是目前计算机视觉领域研究的热门课题之一。

针对上述问题，研究者们提出了一些方法，但是由于扭曲和检测精度的不够，图像中物 体的变形和部分重要信息的丢失始终困扰着研究者们。最近在2009年国际顶级会议IEEE  International Conference on Image Processing上发表了文章《Saliency detection for content-aware  image resizing》该文章提出利用计算目标图像中的显著度来对图像进行扭曲的约束，使得扭 曲过程中显著度大的点得到保存而牺牲显著度小的点。但是当图像中的场景比较复杂、纹理 和物体较多时，利用该文章的方法计算得到图像中许多点的显著度都很大，如果对这些点进 行保留，图像就得不到有效的扭曲，如果舍弃这些点，一些重要的轮廓信息就会被舍去。到 目前为止，依然没有出现一种既能保证图像中物体不会变形或者丢失，又可以对场景比较复 杂的图像进行扭曲的方法。

发明内容

本发明旨在解决当前多数图像扭曲方法对目标图像进行扭曲的过程中会对图像中的物体 产生变形、丢失部分重要信息和不能有效的对拥有复杂场景的图像进行扭曲的问题，提出一 种基于三维显著度的图像扭曲方法，能将深度信息与二维显著度进行结合，并增强扭曲的鲁 棒性。

本发明为解决技术问题采用如下技术方案：

本发明一种基于三维显著度的图像扭曲方法的特点是按如下步骤进行：

步骤1：利用式(1)计算图像大小为m×n的目标图像I中每个像素点的能量函数E：

$E(x,y)=\left|\frac{\delta }{\mathrm{\delta x}}I(x,y)\right|+\left|\frac{\delta }{\mathrm{\delta y}}I(x,y)\right|---\left(1\right)$

式(1)中，E(x,y)为所述目标图像I在像素点(x,y)处的能量值；I(x,y)为所述目标图像I 在像素点(x,y)处的灰度值；x∈(0,m)；y∈(0,n)；

步骤2：对所述目标图像I进行特征提取，获得二维特征矩阵X；

步骤3、利用式(2)获得所述目标图像I的二维显著度S_2D：

$S_{2D}=\exp \left(\frac{-{\left|\right|X_i-X_j\left|\right|}^2}{{2\sigma }^2}\right)---\left(2\right)$

式(2)中，X_i、X_j分别为所述二维特征矩阵两个不同行向量；σ为常数；

步骤4、利用式(3)构建三维显著度模型S_3D：

S_3D＝(1-α)S_2D+α·E_depth    (3)

式(3)中，E_depth为利用3D相机获取所述目标图像I的深度图，α为自适应参数；并有：

$\alpha =\frac{\underset{x,y=0}{\overset{m,n}{\Sigma }}n(x,y)·{(I(x,y)-\overline{I(x,y)})}^2}{D_{\max }}---\left(4\right)$

式(4)中，n(x,y)表示等于像素点(x,y)灰度值的像素个数；D_max为常数；

步骤5：利用式(1)和(3)将所述能量函数E重新定义为E'：

E'(x,y)＝E(x,y)·S_3D(x,y)    (5)

式(5)中，E'(x,y)为所述目标图像I在像素点(x,y)处的新能量值；

步骤6：利用式(6)计算所述目标图像I的图像显著度S：

$S((x_b,n),(x_a,n-1))=\underset{a=1}{\overset{b-1}{\Sigma }}|G_{a,n}^v-G_{a,n}^d|+\underset{a=a+1}{\overset{b}{\Sigma }}\left|G_{a,n}^v{G}_{a-1,n}^d\right|---\left(6\right)$

式(6)中，(x_b,n)为所述目标图像I中第n列的第b个像素点，(x_a,n-1)为所述目标图像I 中第n-1列的第a个像素点，a≠b，且a,b∈(0,m)；S((x_b,n),(x_a,n-1))表示所述目标图像I 中第n列第b个像素点x_b与第n-1列第a个像素点x_a的能量差值；表示所述目标图像I水 平方向v上的梯度；并有表示所述目标图像I对角线方向d上的梯度， 并有$G_{a,n}^d=|E_{a,n}^{\prime }-E_{a+1,n-1}^{\prime }|;$

步骤7、根据所述目标图像I的深度图，获得所述目标图像I中物体表面的轮廓；

步骤8、利用Delaunay三角法将所述二维特征矩阵X中每个点连接起来并在所述目标图 像上构建三角网格；所述三角网格包含若干个三角形t；

步骤9、利用式(7)对所述三角网格中所有三角形进行扭曲：

$G_t=\left(\begin{array}{cc}{s}_t^{\alpha }& 0\\ 0& s_t^{\beta }\end{array}\right)---\left(7\right)$

式(7)中，和分别为所述三角形t在横方向α和纵方向β上的扭曲；G_t表示对任一个 三角形t的扭曲函数；

步骤10、利用式(8)获得目标方程E_s：

$E_s=\underset{t\in T}{\Sigma }{S}_t{A}_t{\left|\right|J_t\left(q\right)-G_t\left|\right|}^2---\left(8\right)$

式(8)中，T为所述三角形t的集合；A_t为所述三角形t的面积，J_t(q)表示对所述三角形t 进行扭曲后的雅各比矩阵；S_t为任一个三角形t的显著度；

步骤11：利用式(9)定义约束条件E_f：

$E_f=\underset{t\in T}{\overset{T}{\Sigma }}{\left|\right|(c_{t2}^q-c_{t1}^q)-r_i{R}_i(c_{t1}^q-c_t^q)\left|\right|}^2---\left(9\right)$

式(9)中，为所述三角形t上的未经扭曲的三个顶点，为所述三角形t上 的三个顶点经过扭曲后的三个顶点；r_i是顶点和顶点之间的边与顶点和顶点之间 的边的边长比，R_t是顶点和顶点之间的边与顶点和顶点之间的边所构成的旋转矩 阵；

步骤12：利用式(10)获得扭曲矩阵F：

F＝λE_s+(1-λ)E_f    (10)

式(10)中，λ为系数；以所述目标图像I中每个三角形t按照扭曲矩阵F对应的值进行平 移或者旋转实现对所述目标图像I的扭曲。

与现有技术相比，本发明的有益效果体现在：

1、本发明将经典的基于L1范式对目标图像进行能量函数计算的方法与深度信息结合起 来提出一种新的三维显著度，既保证了原有二维显著度的优点，又添加了深度信息使得当目 标图像中的场景比较复杂时依然可以很好的进行扭曲。

2、本发明中二维显著度与深度信息之间的参数根据图像中灰度的分布自适应的调整， 当图像中灰度分布比较单一及图像场景比较单一时，二维显著度的权重将高于深度信息的权 重，因此保留了传统二维显著度的优点；而当灰度分布比较广泛时及图像场景比较复杂时， 深度信息的权重高于二维显著度，因此可以更好的对复杂场景的图像进行扭曲。

3、由于二维显著度的精度受到外界光照的影响较大而深度信息的精度几乎不受外界光 照影响，因此本发明方法对外界环境具有更强的抗噪性。

4、本发明由于添加了深度信息和三角网格作为约束，既考虑了每个点的显著度的大小， 同时考虑了图像中物体边缘的完整性，这样假设同一条边上的两个点一个显著度大一个显著 度小，最终的扭曲结果也不会使这条边发生断裂等情况；从而保证了图像扭曲的鲁棒性。

附图说明

图1为本发明目标图像；

图2为本发明对目标图像的扭曲结果图。

具体实施方式

本实施例中，一种基于三维显著度的图像扭曲方法是利用深度数据获得目标图像的深度 图；然后将深度图和二维模型结合起来构建三维显著度模型；其次根据图像灰度的分布自适 应的更新深度数据和二维模型之间的权重；再次利用三维显著度模型计算图像能量函数梯度； 之后提取图像二维边缘和深度轮廓特征，利用特征点生成三角网格；最终构建目标函数求取 极值并添加约束，得到扭曲矩阵；具体的说是按如下步骤进行：

步骤1：利用式(1)计算图像大小为m×n的目标图像I中每个像素点的能量函数E：该 能量函数通过利用L1范式计算目标图像的每一个像素点的梯度得到；梯度信息通常反应出图 像中物体的边缘，在剪裁过程中可以有效的保证图像的完整，目标图像如图1所示：

$E(x,y)=\left|\frac{\delta }{\mathrm{\delta x}}I(x,y)\right|+\left|\frac{\delta }{\mathrm{\delta y}}I(x,y)\right|---\left(1\right)$

式(1)中，E(x,y)为目标图像I在像素点(x,y)处的能量值；I(x,y)为目标图像I在像素点 (x,y)处的灰度值；x∈(0,m)；y∈(0,n)；

步骤2：对目标图像I进行特征提取，对图像进行特征提取的方法不受限制，比如可以采 用Local Binary Pattern(LBP)或者SIFT等特征提取方法都可以得到获得二维特征矩阵X；

步骤3、利用式(2)获得目标图像I的二维显著度S_2D：

$S_{2D}=\exp \left(\frac{-{\left|\right|X_i-X_j\left|\right|}^2}{{2\sigma }^2}\right)---\left(2\right)$

式(2)中，X_i、X_j分别为二维特征矩阵两个不同行向量；σ为常数；

步骤4、利用式(3)构建三维显著度模型S_3D：模型在原有的二维显著度基础之上将深度信 息结合起来，并且根据图像的区别，自适应调节二维显著度和深度信息之间的权值关系；

S_3D＝(1-α)S_2D+α·E_depth    (3)

式(3)中，E_depth为利用3D相机获取目标图像I的深度图，α为自适应参数；并有：

$\alpha =\frac{\underset{x,y=0}{\overset{m,n}{\Sigma }}n(x,y)·{(I(x,y)-\overline{I(x,y)})}^2}{D_{\max }}---\left(4\right)$

式(4)中，n(x,y)表示等于像素点(x,y)灰度值的像素个数；D_max为常数；当图像中的场景 比较复杂时其灰度值的分布将比较集中，与之相对，当图像中的场景比较简单时，其灰度值 的分布就比较稀疏；当图像的场景比较简单时，利用传统的二维显著度就可以很好地计算出 图像的显著度，而当场景比较复杂时就需要加上深度信息来完成对图像的显著度进行计算；

步骤5：利用式(1)和(3)将能量函数E重新定义为E'：

E'(x,y)＝E(x,y)·S_3D(x,y)    (5)

式(5)中，E'(x,y)为目标图像I在像素点(x,y)处的新能量值；

步骤6：利用式(6)计算目标图像I的图像显著度S：

$S((x_b,n),(x_a,n-1))=\underset{a=1}{\overset{b-1}{\Sigma }}|G_{a,n}^v-G_{a,n}^d|+\underset{a=a+1}{\overset{b}{\Sigma }}\left|G_{a,n}^v{G}_{a-1,n}^d\right|---\left(6\right)$

式(6)中，(x_b,n)为目标图像I中第n列的第b个像素点，(x_a,n-1)为目标图像I中第n-1 列的第a个像素点，a≠b，且a,b∈(0,m)；S((x_b,n),(x_a,n-1))表示目标图像I中第n列第b个 像素点x_b与第n-1列第a个像素点x_a的能量差值；表示目标图像I水平方向v上的梯度； 并有表示目标图像I对角线方向d上的梯度，并有 通过计算每个像素点水平方向和对角线方向上的能量函数的差值，来计 算每个点的显著度从而得到整个图像的显著度；

步骤7、根据目标图像I的深度图中的深度信息，对每个点的深度信息求取梯度，获得目 标图像I中物体表面的轮廓；

步骤8、利用Delaunay三角法将二维特征矩阵X中每个点连接起来并在目标图像上构建 三角网格；三角网格包含若干个三角形t；Delaunay三角法利用离散点的性质，将最接近的三 个离散点连成三角形的同时，保证了无论从哪个点开始计算都会得到相同的三角形网格；

步骤9、利用式(7)对三角网格中所有三角形进行扭曲：

$G_t=\left(\begin{array}{cc}{s}_t^{\alpha }& 0\\ 0& s_t^{\beta }\end{array}\right)---\left(7\right)$

式(7)中，和分别为三角形t在横方向α和纵方向β上的扭曲；G_t表示对任一个三角 形t的扭曲函数；

步骤10、利用式(8)获得目标方程E_s：

$E_s=\underset{t\in T}{\Sigma }{S}_t{A}_t{\left|\right|J_t\left(q\right)-G_t\left|\right|}^2---\left(8\right)$

式(8)中，T为三角形t的集合；A_t为三角形t的面积，J_t(q)表示对三角形t进行扭曲后的 雅各比矩阵；S_t为任一个三角形t的显著度，对这个目标方程求最小值，就可以得到最优的变 换矩阵；

步骤11：为了防止深度信息获得的物体表面轮廓不会因为变换而扭曲的太多，因此需要 在上述目标函数的基础上加一个约束：利用式(9)定义约束条件E_f：

$E_f=\underset{t\in T}{\overset{T}{\Sigma }}{\left|\right|(c_{t2}^q-c_{t1}^q)-r_i{R}_i(c_{t1}^q-c_t^q)\left|\right|}^2---\left(9\right)$

式(9)中，为三角形t上的未经扭曲的三个顶点，为三角形t上的三个顶 点经过扭曲后的三个顶点；r_i是顶点和顶点之间的边与顶点和顶点之间的边的边 长比，R_t是顶点和顶点之间的边与顶点和顶点之间的边所构成的旋转矩阵；通过 对该目标函数进行最小化，使得原三个点的形状与变换之后的三个点的形状尽量相似；

步骤12：利用式(10)获得扭曲矩阵F：

F＝λE_s+(1-λ)E_f    (10)

式(10)中，λ为系数；以目标图像I中每个三角形t按照扭曲矩阵F对应的值进行平移或 者旋转实现对目标图像I的扭曲，从而既保存了图像中显著度高的点，又保证了有效性。