基于三角形网格的图像插值放大方法和装置

摘要

本发明公开了一种基于三角形网格的图像插值放大方法和装置，属于图像处理领域。所述图像插值放大方法包括：根据图像的边缘方向，将图像中的四边形网格划分为三角形网格；在三角形网格对应的区域上构造曲面片；对所述曲面片进行调整；将所有曲面片拼接起来，得到拟合曲面；对拟合曲面进行采样，得到目标图像。本发明沿着图像的边缘将图像划分为三角形网格，在三角形上构造拟合曲面片，然后利用曲面片得到拟合曲面，最后通过对拟合曲面进行采样得到目标图像。本发明能够较好的保持图像边缘，确保图像边缘的质量，从而改善了图像的视觉效果。

说明书

技术领域

本发明涉及图像处理领域，特别是指一种基于三角形网格的图像插值放大方法和装置。

背景技术

图像放缩技术是图像处理领域中的重要一节，在许多领域都有着重要的作用。根据人的视觉特点，图像边缘的质量在很大程度上决定了图像的视觉效果。因此如何有效地保持图像的边缘结构非常重要。现有的图像插值算法是在四边形网格上进行插值放大，会使得边缘部分变得平滑，导致边缘模糊。具体简要说明如下：

(1)传统的线性插值算法

工作原理：对待插值点周围的像素点的像素值进行加权平均来估算待插值点的像素值。该类方法对于图像的每一个部分都采用相同的处理方式，通过建立相同的数学模型进行计算。该类方法相当于线性滤波器，会过滤掉图像中的高频信息，影响边缘质量。

其缺点在于：由于该类算法对图像的各个部分的处理方式相同，而忽视了图像的结构信息。因此图像边缘部分会有很明显的锯齿出现，并且比较模糊。

(2)自适应的图像插值算法

工作原理：由于图像的每一个部分的结构均不相同，有纹理区域，也有平坦区域。针对图像每一部分不同的结构信息，自适应地调整权值，是对传统线性插值算法的一种改进。由于考虑到了边缘部分的约束，放大后的图像边缘有较大的提升。

其缺点在于：该方法处理后的图像的边缘部分仍然比较模糊，影响图像的视觉效果。

发明内容

本发明要解决的技术问题是提供一种能够较好的保持图像边缘的基于三角形网格的图像插值放大方法和装置。

为解决上述技术问题，本发明提供技术方案如下：

一方面，提供一种基于三角形网格的图像插值放大方法，包括：

步骤1：根据图像的边缘方向，将图像中的四边形网格划分为三角形网格；

步骤2：在三角形网格对应的区域上构造曲面片；

步骤3：对所述曲面片进行调整；

步骤4：将所有曲面片拼接起来，得到拟合曲面；

步骤5：对拟合曲面进行采样，得到目标图像。

另一方面，提供一种基于三角形网格的图像插值放大装置，包括：

划分模块，用于根据图像的边缘方向，将图像中的四边形网格划分为三角形网格；

构造模块，用于在三角形网格对应的区域上构造曲面片；

调整模块，用于对所述曲面片进行调整；

拼接模块，用于将所有曲面片拼接起来，得到拟合曲面；

采样模块，用于对拟合曲面进行采样，得到目标图像。

本发明具有以下有益效果：

本发明沿着图像的边缘将图像划分为三角形网格，在三角形上构造拟合曲面片，然后利用曲面片得到拟合曲面，最后通过对拟合曲面进行采样得到目标图像。本发明能够较好的保持图像边缘，确保图像边缘的质量，从而改善了图像的视觉效果。

附图说明

图1为本发明的基于三角形网格的图像插值放大方法的流程示意图；

图2为现有技术中图像中的每个点之间的邻接关系所形成的四边形网 格；

图3为本发明中计算四边形网格的四个顶点的像素值变化率的结构示意图；

图4为本发明中对四边形网格进行划分的一种结构示意图；

图5为本发明中对四边形网格进行划分的另一种结构示意图；

图6为本发明的基于三角形网格的图像插值放大装置的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

假设存在一个原始曲面F(x,y)能够将物体准确的表示出来，那么对该曲面进行采样就可以准确地得到不同大小的高分辨率图像。本发明就是利用图像的离散的数据点还原出原始曲面。只要能够获得准确的原始曲面方程，就能够非常方便地得到放缩后的图像。由于原始曲面十分复杂，不可能准确地表示出来，只能构造拟合曲面f(x,y)来进行逼近F(x,y)。将图像均匀地划分成若干个部分，在每个部分上构造曲面片，在局部上逼近原始曲面，然后通过计算得到的所有曲面片构造完整的拟合曲面。

一方面，本发明提供一种基于三角形网格的图像插值放大方法，如图1所示，包括：

步骤1：根据图像的边缘方向，将图像中的四边形网格划分为三角形网格；

现有技术中，如图2所示的，Pi为图像中的像素点。根据每个点之间的邻接关系可以得到图像中的四边形网格。

本步骤中，是根据图像的边缘方向，将四边形网格划分为三角形网格，从而较好的保持了边缘，且反应了边缘的结构。

步骤2：在三角形网格对应的区域上构造曲面片；

步骤3：对所述曲面片进行调整；

步骤4：将所有曲面片拼接起来，得到拟合曲面；

步骤5：对拟合曲面进行采样，得到目标图像。

上述步骤2-5可以采用现有技术中常规的处理办法或者是下面所描述的优选办法均可，均不影响本发明技术方案的实施。

本发明沿着图像的边缘将图像划分为三角形网格，在三角形上构造拟合曲面片，然后利用曲面片得到拟合曲面，最后通过对拟合曲面进行采样得到目标图像，具有的优点如下：

(1)使用三角形网格能够将原始曲面划分地更加细致，有利于对其逼近。

(2)增加边缘作为约束条件，能够更好地反应边缘结构。

(3)不要求拟合曲面在垂直于边缘方向的可导性，符合图像的性质，有助于保持边缘。

具体的，上述步骤1的计算过程可以包括：

为了将四边形网格划分为三角形网格，需要沿图像边缘方向将每个正方形区域划分为两个三角形。划分方案有两种，一种是沿135°方向划分，另一种是沿45°方向划分。通过估计正方形区域中的图像边缘方向，选择使用哪一种划分方案。该思路的原理在于，使划分方向与图像边缘方向一致，从而更好的保持图像边缘。

选择方法如下：

(1)对于边缘区域(存在边缘的区域)：如果正方形内存在边缘，那么估计边缘的方向。如果边缘方向接近45°，则沿着45°方向进行划分；反之，则沿着135°方向进行划分；

(2)对于平坦区域(像素值变化比较平缓的区域)：平坦区域内不存在边缘，因此沿45°或135°任一方向划分即可。

现在的问题是如何估算正方形内边缘的方向。根据图像边缘的性质，沿着边缘的方向，像素值变化比较平缓。因此可以通过计算像素值的变化率来判断边缘方向。具体可以计算正方形四个顶点分别沿两个方向的像素值变化率，选择变化率较小的方向作为划分方向。

如图3所示，可以分别计算四个顶点沿135°和45°方向的变化率。 假设Pi为图像的中的像素点。其中P1的坐标为(i,j)，P1分别沿两个方向的变化率如下：

同理，可以计算其它三个像素点的变化率。将四个点的沿135°和45°方向的变化率分别进行求和，可以得到

$R_{45}=\underset{i,j}{\overset{i+1,j+1}{\Sigma }}{R}_{45}(i,j)$

$R_{135}=\underset{i,j}{\overset{i+1,j+1}{\Sigma }}{R}_{135}(i,j)$

其中R₄₅表示四个像素点沿45°方向的变化率之和，R₁₃₅表示四个像素点沿135°方向的变化率之和。如果R₄₅<R₁₃₅，则连接P1和P3，将四边形划分为两个三角形；反之，则连接P2和P4。通过这种方法将所有的四边形进行划分，就可以得到三角形网格。这样得到的三角形网格能够按照边缘方向将图像划分为若干个小区域。

上述步骤2中，在每个三角形区域上构造曲面片，其计算过程可以为：

为了构造拟合曲面，在每个三角形区域上构造曲面片。在这里选择三次多项式曲面片来进行逼近。曲面片的方程为

a1到a10为未知的方程系数，需求进行求解。

为了能够简化计算步骤，在这里引入三角形的面积坐标(L₁,L₂,L₃)＝(L₁(x_,y)_,L₂(x_,y)_,L₃(x_,y))。利用面积坐标的性质，曲面片的方程可以写成如下形式：

其中，V1、V2、V3是三角形的三个顶点。F(V)、F_x(V)、F_y(V)分别 表示原始曲面在点V处的函数值以及分别沿x，y轴方向的导数值。该方程满足曲面片在顶点处的函数值以及导数值与原始曲面对应相同。这样能够有效地保持原始曲面的结构。式子中具有四个未知数F(V)、F_x(V)、F_y(V)以及A₁₀。

F(V)、F_x(V)、F_y(V)的求解方式可以如下：

在三角形所在的正方形区域上构造二次多项式曲面片g(x,y)，该曲面片在局部区域上逼近原始曲面。该曲面片在构造的过程中利用图像的边缘信息，能够较好地反应原始曲面的性质。因此可以利用该曲面片上对应点的函数值以及一阶导数g(V)、g_x(V)、g_y(V)来对F(V)、F_x(V)、F_y(V)进行估算(替代)。

优选的，未知数A₁₀的求解方式如下：

由于逼近原理，原始曲面F(x,y)与三角形曲面片在正方形区域上的积分值应该相等。

为正方形区域Sq上的曲面片。

下面对F(x,y)在Sq上的积分值进行估算。

在正方形区域Sq内存在边缘的情况下。当正方形区域Sq如图4所示进行划分时，F(x,y)在Sq上的积分值可以利用边缘两侧的像素点进行估计，公式如下

当Sq如图4的方式划分时，F(x,y)在Sq上的积分值应为

如果正方形区域Sq内不存在边缘，那么F(x,y)在Sq上的积分值可以利用利用公式5以及公式6任意一个进行计算。

根据估算得到的积分值结合公式4能够计算得到A₁₀的大小。

具体的，上述步骤3对曲面片进行调整的步骤可以为：

首先根据步骤2求得所有局部区域上的曲面片方程。由于图像的像素点的灰度范围为[0,255]，但是曲面片的函数值往往超出该范围。如果曲面片的函数值小于0，那么将其置为0。如果曲面片的函数值大于255，那么将其置为255。

上述步骤4将所有曲面片进行拼接，得到拟合曲面的计算方法可以如下：

由于曲面片的性质，所有曲面片在相邻的位置函数值相同，满足C0连续。因此直接将所有的曲面片进行拼接，可以得到最终的拟合曲面。

上述步骤5对拟合曲面进行采样，得到放缩后图像的具体方法可以如下：

图像的每一个像素点均是通过对原始曲面F(x,y)在局部区域进行采样得到的。将曲面划分为均匀的四边形网格，划分得细致程度代表得到的图像的分辨率的大小。采样公式如下

在这里，w(x,y)为常数1。

由于步骤4中得到了原始曲面F(x,y)的近似曲面f(x,y)，因此对f(x,y)进行采样即可。由于图像的像素值为整数，而采样后得到的像素值为小数。将得到的结果四舍五入，可以得到该点的像素值。

另一方面，与上述的方法相对应，本发明还提供一种基于三角形网格的图像插值放大装置，如图6所示，包括：

划分模块601，用于根据图像的边缘方向，将图像中的四边形网格划分为三角形网格；

构造模块602，用于在三角形网格对应的区域上构造曲面片；

调整模块603，用于对所述曲面片进行调整；

拼接模块604，用于将所有曲面片拼接起来，得到拟合曲面；

采样模块605，用于对拟合曲面进行采样，得到目标图像。

本发明沿着图像的边缘将图像划分为三角形网格，在三角形上构造拟 合曲面片，然后利用曲面片得到拟合曲面，最后通过对拟合曲面进行采样得到目标图像。本发明能够较好的保持图像边缘，确保图像边缘的质量，从而改善了图像的视觉效果。

优选的，划分模块还用于如果四边形网格内的图像边缘方向接近45°，则沿着45°方向进行划分；反之，则沿着135°方向进行划分；如果不存在图像边缘，则沿45°或135°中的任意一个进行划分。

优选的，划分模块601还用于计算四边形网格的四个顶点沿45°和135°两个方向的像素值变化率，选择变化率较小的方向作为图像边缘方向。

优选的，所述构造模块602中，所述曲面片的计算方程为：

$\left(\begin{array}{c}{f}_{i,j}^l(x,y)=A_{10}{L}_1{L}_2{L}_3+\\ [(3-2L_1)F\left(V_1\right)+(x-x_1)F_x\left(V_1\right)+(y-y_1)F_y\left(V_1\right)]L_1^2+\\ [(3-2L_2)F\left(V_2\right)+(x-x_2)F_x\left(V_2\right)+(y-y_2)F_y\left(V_2\right)]L_2^2+\\ [(3-2L_3)F\left(V_3\right)+(x-x_3)F_x\left(V_3\right)+(y-y_3)F_y\left(V_3\right)]L_3^2\end{array}\right)$

其中，V₁、V₂、V₃是划分得到的三角形的三个顶点。F(V)、F_x(V)、F_y(V)分别表示原始曲面在点V处的函数值以及分别沿x、y轴方向的导数值。

优选的，F(V)、F_x(V)、F_y(V)的求解方式如下：

在三角形网格所在的正方形区域上构造二次多项式曲面片g(x,y)，该曲面片在局部区域上逼近原始曲面，利用该曲面片上对应点的函数值以及一阶导数g(V)、g_x(V)、g_y(V)来对F(V)、F_x(V)、F_y(V)进行估算。

优选的，A₁₀的求解方式如下：

由于逼近原理，原始曲面F(x,y)与三角形曲面片在正方形区域上的积分值应该相等，

$\underset{Sq}{\int \int }{f}_{i,j}^l(u,v)dxdy=\underset{Sq}{\int \int }F(x,y)dxdy$

其中，为正方形区域Sq上的曲面片；

对F(x,y)在正方形区域Sq上的积分值进行估算如下：

$\underset{Sq}{\int \int }F(x,y)dxdy=\left(F\right(i,j)+F(i+1,j+1\left)\right)/2.$

优选的，所述调整模块603还用于如果曲面片的函数值小于0，那么将其置为0；如果曲面片的函数值大于255，那么将其置为255。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。