用于消除齿状不自然的装置和方法

摘要

在用于消除齿状不自然的装置和方法中，计算单元基于输入的当前帧或场中的当前像素而定义预定大小的窗口，并计算至少一个特征值和至少一个特征向量，以确定该窗口的特征。权重确定单元基于所计算的特征值而确定该窗口的特征，并随后基于所确定的特征而确定要应用于滤波的滤波权重。低通滤波器基于所计算的特征向量和所确定的滤波权重而对该窗口进行滤波。因而，有可能消除在图像转换时、在诸如边缘的区域中出现的齿状不自然。

说明书

技术领域

本发明通常涉及一种消除齿状不自然(jagging artifact)的装置和方法，并且尤其涉及一种消除在图像转换时产生的齿状不自然(诸如，阶梯化)的装置和方法。

背景技术

如图1所示，齿状不自然为这种现象，其中，图像的每条斜线看起来不像直线而像阶梯，这使图像质量恶化。阶梯化由于去隔行扫描(de-interlacing)、缩放等而产生，并被不同地称为阶梯化(staircasing)、斜线噪声(diagonal noise)等。

同时，美国专利第5,625,421号中公开了一种用于消除锯齿状不自然(其是齿状不自然的一种)的传统图像质量处理装置，其在图2中被示出。

参照图2，传统图像质量处理装置包括检测单元210和垂直滤波器220。检测单元210检测输入图像信号(in)中出现锯齿状不自然的区域。也就是说，如果存在大于去隔行扫描后的扫描线和两条相邻水平扫描线之间的第一阈值、且小于去隔行扫描后的扫描线和相邻水平扫描线的后续扫描线之间的第二阈值的差值，则检测单元210确定在该去隔行扫描后的扫描线所处的区域中已出现锯齿状不自然(sawtooth artifact)。

垂直滤波器220对被确定为已出现锯齿状不自然的区域进行垂直滤波，并输出输出图像信号(out)。这意欲通过使已出现齿状不自然的区域模糊，来消除阶梯化。

然而，传统图像质量处理装置使用阈值来确定已出现齿状不自然的区域。由此原因，该装置也许不能发现已出现锯齿状不自然的区域，或者可能错误地作出确定。此外，对已出现齿状不自然的区域执行垂直滤波不会明显地消除齿状不自然，因此使图像质量恶化。

发明内容

本发明提供了一种用于消除在图像转换过程中出现在诸如图像边缘的区域中的齿状不自然的装置和方法。

本发明的其他方面在下面的描述中被部分地阐述，并且，部分地，从描述中变得清晰，或可通过对本发明的实践来领会。

通过提供一种用于消除齿状不自然的装置，而实现本发明的前述和/或其它方面，该装置包括：计算单元，用于基于输入的当前帧或场中的当前像素而设置预定大小的窗口，并计算至少一个特征值和至少一个特征向量，以确定该窗口的特征；权重确定单元，用于基于所计算的特征值而确定该窗口的特征，并基于所确定的特征而确定滤波权重；以及低通滤波器，用于基于所计算的特征向量和所确定的滤波权重而对该窗口进行滤波。

所述至少一个特征向量可包括：第一特征向量，用于表示该窗口的梯度方向；以及第二特征向量，用于表示其边缘方向，并且，所述至少一个特征值可包括：第一特征值，用于表示沿梯度方向的离差(dispersion)；以及第二特征值，用于表示沿边缘方向的离差。

所述计算单元可包括：矩阵计算单元，用于对该窗口应用主成分分析(principal component analysis，PCA)，以计算协方差矩阵；特征值计算单元，用于基于该协方差矩阵而计算第一和第二特征值；以及特征向量计算单元，用于基于该协方差矩阵而计算第一和第二特征向量。

所述权重确定单元可包括：特征确定单元，用于将第一特征值的大小与第二特征值的大小相比较，以确定该窗口的特征；以及权重计算单元，用于基于所确定的特征而计算低通滤波器所使用的滤波权重，以对该窗口进行滤波。

所述特征确定单元可在第一特征值对第二特征值的比小于或等于第一阈值时确定该窗口为角区域(corner region)，而在该比大于或等于第二阈值时确定该窗口为边缘区域(edge region)。

所述权重计算单元可在确定该窗口为角区域时计算出权重为“0”，而在确定该窗口为边缘区域时计算出权重为“1”。

所述低通滤波器可包括：像素平均值计算单元，用于基于从特征向量计算单元输出的第一和第二特征向量中的至少一个、以及当前像素的位置，而确认该窗口中的前一像素和下一像素的位置、以及该窗口的边缘方向，并计算前一像素和下一像素的平均值；以及滤波单元，用于使用所计算的平均值、当前像素的值、以及所确定的滤波权重，而沿所确认的边缘方向来对该窗口进行滤波，以输出当前像素的最终像素值。

特征向量计算单元可将第一和第二特征向量中较小的一个作为最小特征向量而输出到低通滤波器。

还通过提供一种用于消除齿状不自然的方法，而实现本发明的前述和/或其它方面，该方法包括：基于输入的当前帧或场中的当前像素而设置预定大小的窗口；计算至少一个特征值和至少一个特征向量，以确定该窗口的特征；基于所计算的特征值而确定该窗口的特征，并基于所确定的特征而确定滤波权重；以及基于所计算的特征向量和所确定的滤波权重而对该窗口进行滤波。

所述特征值和特征向量的计算可包括：对该窗口应用主成分分析(PCA)，以计算协方差矩阵；基于该协方差矩阵而计算第一和第二特征值；以及基于该协方差矩阵而计算第一和第二特征向量。

该窗口的特征和该滤波权重的确定可包括：将第一特征值的大小与第二特征值的大小相比较，以确定该窗口的特征；以及基于所确定的特征而计算要应用于对该窗口的滤波的滤波权重。

该窗口的特征的确定可包括：在第一特征值对第二特征值的比小于或等于第一阈值时，确定该窗口为角区域，而在该比大于或等于第二阈值时，确定该窗口为边缘区域。

该滤波权重的计算可包括：在确定该窗口为角区域时，计算出该权重为“0”，而在确定该窗口为边缘区域时，计算出该权重为“1”。

对该窗口的滤波可包括：基于所计算的第一和第二特征向量中的至少一个、以及当前像素的位置，而确认该窗口中的前一像素和下一像素的位置、以及该窗口的边缘方向，并计算前一像素和下一像素的平均值；以及使用所计算的平均值、当前像素的值、以及所确定的滤波权重，而沿所确认的边缘方向来对该窗口进行滤波，以输出当前像素的最终像素值。

该第一和第二特征向量的计算可包括：输出该第一和第二特征向量中较小的一个作为最小特征向量。

附图说明

从下面与附图相结合的对实施例的描述中，本发明的这些和/或其它方面将变得清楚且更易于理解，附图中：

图1示出了具有齿状不自然的图像；

图2为传统图像质量处理装置的示意性方框图；

图3示出了根据本发明的实施例的、用于消除齿状不自然的装置的示意性方框图；

图4示出了由图3的装置的特征向量计算单元所计算的第一特征向量和第二特征向量；

图5示出了由图3的装置的权重计算单元所计算的滤波权重；

图6示出了在图3的装置的像素平均值计算单元中计算像素值的平均值的方法；

图7示意性地示出了在图3的装置中消除齿状不自然的方法；

图8A和8B示意性地示出了根据本发明的实施例的、包括图3的用于消除齿状不自然的装置的图像质量处理系统；以及

图9示出了无齿状不自然的图像。

具体实施方式

现在将对本发明的实施例作出详细参照，在附图中示出了本发明的示例，其中，相同的附图标记始终表示相同的单元。下面在参照附图的同时描述实施例，以说明本发明。

图3示出了根据本发明的实施例的、用于消除齿状不自然的装置的示意性方框图。参照图3，齿状不自然消除装置300包括计算单元310、权重确定单元320、以及低通滤波器330。

计算单元310基于输入的当前帧或场中的当前像素而定义预定大小的窗口，并计算至少一个特征值和至少一个特征向量，以基于该窗口中的像素值来确定该窗口的特征。如图3所示，该窗口至少包括前一扫描线L_n-1、当前扫描线L_n、以及下一扫描线L_n+1。

计算单元310通过应用主成分分析(PCA)而计算至少一个特征值和至少一个特征向量。在PCA中，得到所定义的窗口的协方差矩阵，并基于该协方差矩阵而计算至少一个特征值和至少一个特征向量。使用所述至少一个特征值和至少一个特征向量来确定该窗口的图像模式，即图像特征。

如图4所示，所述至少一个特征向量可包括第一特征向量θ₊和第二特征向量θ_-。参照图4，第一特征向量θ₊表示该窗口的梯度方向，而第二特征向量θ_-表示该窗口的边缘方向。

此外，所述至少一个特征值可包括：第一特征值λ₊，用于表示沿该窗口的梯度方向的离差；以及第二特征值λ_-，用于表示沿边缘方向的离差。

计算单元310包括矩阵计算单元312、特征值计算单元314、以及特征向量计算单元316。

矩阵计算单元312定义该窗口，并随后对所定义的窗口应用PCA，以根据下面的等式1来计算协方差矩阵：

<等式1>

$$ >>G>=>\begin{array}{}>>>>g>11>\; >>>g>12>\; >>>>>g>12>\; >>>g>22>\; >\end{array}>>>$$

($$ >>>g>11>>=>>\Sigma >>k>=>1>>n>sup>>I>kx>2sup>>,>>$$$$ >>>g>12>>=>>\Sigma >>k>=>1>>n>>>I>kx>>>I>ky>>,>>$$且$$ >>>g>22>>=>>\Sigma >>k>=>1>>n>sup>>I>ky>2sup>>>$$)

这里，G表示协方差矩阵，g₁₁、g₁₂以及g₂₂表示组成该协方差矩阵的因子，n表示位于该窗口中的像素，I_kx为沿每个像素的x方向的差分值(differentialvalue)，而I_ky为沿每个像素的y方向的差分值。x方向表示图像帧的水平或横向方向，而y方向表示图像帧的垂直或纵向方向。

特征值计算单元314计算协方差矩阵的至少一个特征值。特征值计算单元314根据下面的等式2计算第一和第二特征值λ₊和λ_-：

<等式2>

$$ >>>\lambda >\pm >>=>\begin{array}{}>>>>>>g>11>>+>>g>22>>+>>\Delta >>>2>\; >>.>.>.>>(>a>)>\; >>>>>>>g>11>>+>>g>22>>+>>\Delta >>>2>\; >>.>.>.>>(>b>)>\; >\end{array}>>>$$

其中，$$ >>\Delta >=>>>(>>g>11>>->>g>22>>)>>2>>+>4sup>>g>12>2sup>>>$$

参照等式2，特征值计算单元314输出所计算的(a)和(b)值中较大的一个作为第一特征值λ₊，并输出较小的一个作为第二特征值λ_-。

特征向量计算单元316计算所计算的协方差矩阵的至少一个特征向量。特征向量计算单元316根据下面的等式3计算第一和第二特征向量θ₊和θ_-：

<等式3>

$$ >>>\theta >\pm >>=>\begin{array}{}>>>2>>g>12>\; >>.>.>.>>(>c>)>\; >>>>>g>22>>->>g>11>>\pm >>\Delta >\; >>.>.>.>>(>d>)>\; >\end{array}>>>$$

在等式3中，(c)为第一和第二特征向量θ₊和θ_-的x方向分量，表示第一特征向量θ₊的y方向分量，而表示第二特征向量θ_-的y方向分量。

在根据等式3计算第一和第二特征向量θ₊和θ_-之后，特征向量计算单元316将两个特征向量中较小的一个输出到低通滤波器330。下文中，将第一和第二特征向量θ₊和θ_-中较小的一个称为“最小特征向量”θ_min。

权重确定单元320基于所计算的特征值λ₊和λ_-来确定该窗口的特征，并随后基于所确定的特征来确定滤波权重。为了执行上述操作，权重确定单元320包括特征确定单元322和权重计算单元324。

特征确定单元322将第一特征值λ₊的大小与第二特征值λ_-的大小相比较，以确定该窗口的特征。也就是说，特征确定单元322确定该窗口的图像模式是角区域、还是角区域之外的边缘区域。

特别地，如果第一特征值λ₊对第二特征值λ_-的比λ₊/λ_-小于或等于第一阈值th1，则特征确定单元322确定该窗口为角区域。

另一方面，如果第一特征值λ₊对第二特征值λ-的比λ₊/λ_-大于或等于第二阈值th2，则特征确定单元322确定该窗口为边缘区域。

此外，当第一特征值λ₊对第二特征值λ-的比λ₊/λ_-介于第一和第二阈值th1和th2之间时，特征确定单元322确定该窗口为角区域和边缘区域之间的中间区域。

权重计算单元324基于由特征确定单元322确定的特征计算滤波权重(w)，以对该窗口进行滤波。

图5示出了由权重计算单元所计算的滤波权重(w)。参照图5，在该窗口为角区域时，权重计算单元324计算出权重(w)为“0”。

在该窗口为边缘区域时，权重计算单元324计算出权重(w)为“1”。

在该窗口为中间区域时，权重计算单元324计算出权重(w)随第一特征值λ₊对第二特征值λ-的比λ₊/λ_-而变化，使得权重(w)具有介于“0”和“1”之间的值。

回来参照图3，低通滤波器330基于输出的最小特征向量θ_min和所计算的滤波权重(w)而对该窗口进行滤波。也就是说，低通滤波器330基于最小特征向量θ_min而确认该窗口的边缘方向，并通过应用滤波权重(w)而沿所确认的边缘方向来对该窗口进行滤波。

低通滤波器330滤出频率小于预定频率的图像信号，以消除频率超过该预定频率的图像信号。这通过消除包含在图像信号的边缘分量中的高频分量来消除齿状不自然。

低通滤波器330包括像素平均值计算单元332和滤波单元334。

像素平均值计算单元332基于输入窗口中的当前像素的位置、以及从特征向量计算单元316输出的最小特征向量θ_min，而确认前一像素和下一像素的位置。像素平均值计算单元332计算已确认了各自位置的前一和下一像素的值的平均值。这里，当前像素位于该窗口的当前扫描线Ln，根据最小特征向量θ_min而确定前一和下一像素的位置，并且，所计算的平均值表示“方向像素”。

图6示出了根据本发明的实施例的、计算前一和下一像素的平均值的方法。

参照图6，当最小特征向量θ_min为(1，2)时，通过从当前像素(0，0)(在图6中示出为黑色像素)沿x方向移动1、并沿y方向移动2而找到前一像素的位置(1，2)。此外，通过从当前像素(0，0)沿x方向移动-1、并沿y方向移动-2而找到下一像素的位置(-1，-2)。通过计算已找到各自位置的前一像素和下一像素的平均值，而确认前一像素和下一像素的方向(由箭头表示)。如图6所示，前一像素位于前一扫描线L_n-1之前的扫描线L_n-2上，而下一像素位于下一扫描线L_n+1之后的扫描线L_n+2上。

滤波单元334基于所计算的平均值、当前像素值的值、以及所确定的滤波权重(w)而执行低通滤波，以输出当前像素的最终像素值(out)。

具体地，滤波单元334根据下面的等式4来输出最终像素值。

<等式4>

out＝w×平均值+(1-w)×src

等式4为执行“方向低通滤波”的等式。在等式4中，out表示最终像素值，w表示滤波权重，而src表示当前像素值。

参照等式4，滤波单元334将所计算的平均值乘以滤波权重(w)，以得到第一结果。这沿边缘方向、通过滤波权重(w)对该窗口进行滤波，以平滑处理。滤波单元334还将当前像素值乘以(1-w)，以得到第二结果。滤波单元334随后将第一结果与第二结果相加，以输出最终像素值。

图7为示出根据本发明的实施例的、在图3的装置中消除不自然的方法的示意流程图。

参照图3至7，矩阵计算单元312基于输入的当前像素而定义预定大小的窗口，并随后对所定义的窗口应用PCA，以计算协方差矩阵(操作S705)。

特征值计算单元314计算该协方差矩阵的第一和第二特征值λ₊和λ_-，而特征向量计算单元316计算该协方差矩阵的第一和第二特征向量θ₊和θ_-(操作S710)。这里，特征向量计算单元316输出第一和第二特征向量θ₊和θ_-中较小的一个作为最小特征向量θ_min。

接下来，特征确定单元322将第一和第二特征值λ₊和λ_-的大小相互比较，以确定该窗口的特征(操作S715)。也就是说，特征确定单元322确定该窗口的图像模式是角区域、还是角区域之外的边缘区域。

特征确定单元322确定该窗口是否为角区域(操作S720)。当确定该窗口为角区域时，权重计算单元324输出为“0”的滤波权重(w)(操作S725)。

像素平均值计算单元332基于该窗口中的当前像素的位置、以及在操作S710得到的最小特征向量θ_min，而确认前一像素和下一像素的值，并计算前一和下一像素的位置的平均值(操作S730)。

接下来，滤波单元334根据等式4，基于前一和下一像素的平均值、当前像素值、以及为“0”的滤波权重(w)而执行低通滤波(操作S735)。因而，输出当前像素的最终像素值(out)(操作S740)。在滤波权重为“0”的情况中，最终像素值(out)与当前像素值相同。

同时，如果在操作S720中确定该窗口不是角区域，则特征确定单元322确定该窗口是否为边缘区域。当确定该窗口为边缘区域时，权重计算单元324输出为“1”的权重(w)(操作S750)。

像素平均值计算单元332基于该窗口中的当前像素的位置、以及在操作S710得到的最小特征向量θ_min而确认前一像素和下一像素的值，并计算前一和下一像素的位置的平均值(操作S755)。

接下来，滤波单元334根据等式4，基于前一和下一像素的平均值、当前像素值、以及为“1”的滤波权重(w)而执行低通滤波(操作S760)。因而，输出当前像素的最终像素值(out)(操作S740)。在滤波权重为“1”的情况中，最终像素值(out)与前一和下一像素的平均值相同。

另一方面，如果在操作S745中确定该窗口不是边缘区域，则特征确定单元322确定该窗口为中间区域(操作S765)。权重计算单元324随后通过随着第一特征值λ₊对第二特征值λ_-的比λ₊/λ_-而适应性地改变权重(w)，来计算该权重(w)，使得该权重(w)具有介于“0”和“1”之间的值(操作S770)。

像素平均值计算单元332基于该窗口中的当前像素的位置、以及在操作S710得到的最小特征向量θ_min，而确认前一像素和下一像素的位置，并计算前一和下一像素的值的平均值(操作S775)。

接下来，滤波单元334根据等式4，基于前一和下一像素的平均值、当前像素值、以及在操作S770中计算的滤波权重(w)而执行低通滤波(操作S780)。因而，输出当前像素的最终像素值(out)(操作S740)。

图8A和8B示意性地示出了根据本发明的实施例的、具有图3的用于消除齿状不自然的装置的图像质量处理系统。

参照图8A，在图像质量处理系统中，可将齿状不自然消除装置300置于去隔行扫描器800之后。去隔行扫描器800将输入图像从隔行扫描格式转换为逐行扫描格式。齿状不自然消除装置300对由去隔行扫描器800转换的图像执行低通滤波，以抑制或减小由于去隔行扫描过程而产生的阶梯化(即，齿状不自然)。

参照图8B，在图像质量处理系统中，可将齿状不自然消除装置300置于去隔行扫描器800之前。在此情况中，齿状不自然消除装置300预先抑制输入图像的阶梯化。去隔行扫描器800随后将已抑制了阶梯化的图像从隔行扫描格式转换为逐行扫描格式。

这里，可将齿状不自然消除装置300置于除了去隔行扫描器800之外的倍线器(scaler，未示出)之前或之后。倍线器为增大或减小图像分辨率的设备。

图9示出了无齿状不自然的图像。

参照图9，将根据本发明的实施例的齿状不自然消除装置300及其方法应用于图1中示出的图像可以消除齿状不自然。也就是说，由于图像的一条线看起来像是具有平滑边缘的单向(one-directional)线，所以，有可能将具有增强的图像质量的图像提供给用户。

如上所述，根据本发明的实施例的、用于消除齿状不自然的装置和方法通过应用PCA而计算特征值和特征向量，并使用所计算的特征值和特征向量来抑制齿状不自然。具体地，通过使用特征向量来执行方向性的低通滤波，有可能有效地抑制齿状不自然。此外，通过考虑特征值而不是扫描线之间的阈值来设计低通滤波器，有可能防止图像的角被滤波。

尽管已示出并描述了本发明的一些实施例，但本领域的技术人员将理解，在这些实施例中可作出改变，而不背离本发明的原理和精神，在所附权利要求及其等价物中定义了本发明的范围。