通过多方向多重斜率的区域侦测进行影像边缘强化的系统

摘要

本发明是有关于一种通过多方向多重斜率的区域侦测以进行影像边缘强化的系统，其用以对一影像执行影像边缘强化，像素(i)为影像中一条线的第i个像素，其中，一线缓冲器用以接收并暂存像素(i)及邻近像素、一区域分类装置用以判断像素(i)所属的区域、一左平坦像素侦测装置，依据区域分类装置以侦测左平坦区域像素的邻近像素，以及一右平坦像素侦测装置，依据区域分类装置以侦测右平坦区域像素的邻近像素。其中，当像素(i)为一延伸区域，以及像素(i)的邻近像素中有一为左平坦区域像素、且像素(i)的邻近像素中有一为右平坦区域像素时，一边缘强化装置对像素(i)及邻近像素执行边缘强化运算。

说明书

技术领域

本发明是关于影像处理的技术领域，尤指一种通过多方向多重斜率的区域侦测来做影像边缘强化的系统。

背景技术

在进行影像处理中，由于影像锐利度强化(image enhancement)和去噪音(de-noise)这两个动作常被归类成相反动作的滤波器运算，故若单独只作影像锐利度的强化，会无法消除噪音，甚至有可能导致噪音增强的副作用。因此，为了避免噪音中的高频成分导致边缘转变区(edge transient region)的误判，一般在增强边缘锐利度(edge enhancement or edge sharping)的算法之前通常会先执行去噪音的运算。若先执行去噪音运算，再执行影像强化运算，则去噪音运算的算法的好坏，常常会间接的影响影像锐利度强化的效果。

已知技术的边缘增强算法常使用多个滤波器(Filter)来分离出多个频带区域，但由于得到的输出信号常常需要混合多种判断方式，并设定权重参数才能达到期望的影像品质。如图1所示，美国专利US5,414,473号公告是使用三个滤波器以进行影像增强边缘锐利化(edge enhancement)，但其仍需要适当地校正权重(weight)参数才能适应不同的影像需求。同时，因为其参数数字滤波器(parametered digital filter)的取样规则已被硬件架构所限定，而不能依目前的边缘转变长度(Edge transient length)做动态的调变。上述使用滤波器的好处在于，影像的强化会较具连续性，但由于所得的结果较不具直观意义，亦即参数的设定常需要做耗时的测试才确定。滤波器的权重参数也因与滤波器的实际设计相关，适应不同的设计，滤波器的权重参数必须要人工再加以调整才可以应用到实际影像。滤波器的硬件实体也易因滤波器的个数和长度而变得庞大复杂，以及滤波器长度较长，虽较能够抵抗噪音，但硬件耗费也较大，且容易忽略掉影像细微的纹路。

美国专利US6,094,205号公告是使用二次微分的大小来侦测边缘转变区域，并使用一次微分的大小和轮廓侦测滤波器(Contour filter)来调节边缘增强的增益值(Gain)，同时还必须辅以最大最小值的侦测。如图2所示，若将此专利应用在数字信号中，这些元件需互相配合，不仅增加了硬件复杂度，例如多个像素间最大最小的判断，且使用滤波器来找出高频区域(边缘转变区)的方法很容易受到噪音干扰或因影像的细微纹路影响而产生判断错误的情形。由于使用滤波器的结果来当作边缘增强的增益值的判断的参考依据，数字滤波器的取样规则本身就容易受到硬件限制，因此对于频宽较低及边缘转变区域较大的影像，所得的影像品质难有明显的提升。因此当使用同一算法来处理频宽较低的影像时，该已知技术硬件架构需要做比较大的变动，硬件需求也会急速增加许多。此外，通过滤波器来调整增益值容易因噪音干扰而使增益值做出非预期的变动，尤其在需要强化的边缘转变区域，亮度/彩度/RGB变动的不可预期性更是严重。由此可知，已知使用滤波器做影像边缘强化的系统及方法仍有诸多缺点而有予以改善的必要。

发明内容

本发明的目的是在提供一种通过多方向多重斜率的区域侦测来做影像边缘强化的系统，可改良已知技术使用滤波器来侦测影像边缘而产生对噪音抵抗能力不足或细纹被忽略的问题，也可免除对某特定区间内做最大最小值的判断。

本发明的另一目的是在提供一种通过多方向多重斜率的区域侦测来做影像边缘强化的系统，可大幅降低增强边缘锐利度时造成的人为影像缺陷，同时对于细微纹路能够正确的保留。

依据本发明的目的，本发明是提出一种通过多方向多重斜率的区域侦测以进行影像边缘强化的系统，其用以对一影像执行影像边缘强化，该影像由多条线所组成，其中，像素(i)为一条线的第i个像素，该系统包含一线缓冲器(line buffer)、一区域分类(region classification)装置、一左平坦像素侦测装置、一右平坦像素侦测装置及一边缘强化装置。该线缓冲器接收并暂存该影像资料的像素(i)及邻近像素；该区域分类装置连接至该线缓冲器，以判断该像素(i)所属的区域，其中区域是为左平坦(L_Flat)区域、右平坦(R_Flat)区域、平坦(Flat)区域、短平坦(S_Flat)区域、延伸(Extend)区域或丘陵(Hill)区域；该左平坦像素侦测装置连接至该区域分类装置，依据该像素(i)以侦测该像素(i)的邻近像素是否可找到左平坦区域像素；该右平坦像素侦测装置连接该区域分类装置，依据该像素(i)以侦测该像素(i)的邻近像素是否可找到右平坦区域像素；该边缘强化装置连接至该线缓冲器(line buffer)、该左平坦像素侦测装置及该右平坦像素侦测装置，当该像素(i)为延伸(Extend)区域、该像素(i)的邻近像素中有一为左平坦区域像素、且该像素(i)的邻近像素中有一为右平坦区域像素时，依据这两个平坦邻近像素对像素(i)执行边缘强化。

附图说明

图1是已知技术的方框图。

图2是另一已知技术的方框图。

图3是本发明通过多方向多重斜率的区域侦测来做影像边缘强化的系统的方框图。

图4是本发明该区域分类装置的方框图。

图5是本发明像素区域状态暂存器的示意图。

图6是本发明该边缘强化装置的方框图。

图7是本发明该增益产生装置的方框图。

具体实施方式

图3是本发明通过多方向多重斜率的区域侦测以进行影像边缘强化的系统的方框图，其用以对一影像F[n]执行影像边缘强化，该影像F[n]由多条线所组成，其中，像素(i)为一条线L[k]的第i个像素，该系统包含一线缓冲器(line buffer)310、一区域分类(region classification)装置320、一左平坦像素侦测装置330、一右平坦像素侦测装置340、一边缘强化装置350、一多功能滤波器360及一多工器370。

该线缓冲器310接收并暂存该影像中的像素(i)及邻近像素，其中该邻近像素至少包含该像素(i)的左边第一像素(i-1)、左边第二个像素(i-2)、右边第一像素(i+1)及右边第二个像素(i+2)。

该区域分类装置320连接至该线缓冲器310，以判断该像素(i)所属的区域，其中区域是可分为左平坦(L_Flat)区域、右平坦(R_Flat)区域、平坦(Flat)区域、短平坦(S_Flat)区域、延伸(Extend)区域、及丘陵(Hill)区域。

该左平坦像素侦测装置330连接至该区域分类装置320，依据该像素(i)以侦测该像素(i)的邻近像素是否为左平坦区域像素。

该右平坦像素侦测装置340连接至该区域分类装置320，依据该像素(i)以侦测该像素(i)的邻近像素是否为右平坦区域像素。

该边缘强化装置350连接至该线缓冲器310、该左平坦像素侦测装置330及该右平坦像素侦测装置340，当该像素(i)为延伸区域以及该像素(i)的邻近像素中有一为左平坦区域像素且该像素(i)的邻近像素中有一为右平坦区域像素时，依据这两个邻近像素对像素(i)执行边缘强化。

该多工器连接至该区域分类装置、该多功能滤波器及该边缘强化装置。

图4是本发明该区域分类装置的方框图，该区域分类装置包含一微分值及斜率值产生装置410、一区域分类器420及一像素区域状态暂存器430。

该微分值及斜率值产生装置410连接至该线缓冲器310，依据该像素(i)的值及邻近像素值产生一微分值及一斜率值。该微分值及斜率值产生装置410计算该像素(i)的一右边微分R_DDX[i]、一右边斜率R_Slope[i]、一左边微分L DDX[i]及左边斜率L_Slope[i]。

该右边微分R_DDX[i]为Data[i]减去Data[i+1]，其中，Data[i]为像素(i)的像素值，Data[i+1]为像素(i)的右边像素(i+1)的像素值，该右边斜率R_Slope[i]为Data[i]减去Data[i+2]，其中，Data[i+2]为像素(i)的右边第二个像素(i+2)的像素值，该左边微分L_DDX[i]为Data[i]减去Data[i-l]，其中，Data[i-1]为像素(i)的左边像素(i-1)的像素值，该左边斜率L_Slope[i]为Data[i]减去Data[i-2]，其中，Data[i-2]为像素(i)的左边第二个像素(i-2)的像素值。

该区域分类器420连接至该微分值及斜率值产生装置410，依据该微分值及该斜率值，以判断该像素(i)所属的区域。

当该像素(i)的该右边微分R_DDX[i]的绝对值小于一第一阀值Th1，且该左边微分L_DDX[i]的绝对值小于该第一阀值Th1时，该区域分类器420标注该像素(i)为该短平坦(S_Flat)区域，其中，该第一阀值Th1可预先设定，该第一阀值Th1也可通过计算该影像F[n]的噪音而获得。

当该像素(i)的该左边斜率L_Slope[i]的绝对值小于一第二阀值Th2且该左边微分(L_DDX[i])的绝对值小于一第三阀值Th3时，该区域分类器420标注该像素(i)为该左平坦区域，其中，该第二阀值Th2为该第一阀值Th1加上一第一常数，再者，该第三阀值Th3为该第一阀值Th1加上一第二常数，该第一常数和第二常数可依每个像素的比特位深度与目前噪音的变异度来设定。

当该像素(i)的该右边斜率R_Slope[i]的绝对值小于该第二阀值Th2且该右边微分R_DDX[i]的绝对值小于该第三阀值Th3时，该区域分类器420标注该像素(i)为该右平坦区域。

当该像素(i)同时为该左平坦L_Flat区域及该右平坦R_Flat区域时，该区域分类器420标注该像素(i)为该平坦区域。

当该像素(i)的该右边斜率R_Slope[i]与该左边斜率L_Slope[i]异号时，该区域分类器420标注该像素(i)为该延伸区域。当该像素(i)的该右边斜率R_Slope[i]与该左边斜率L_Slope[i]同号时，该区域分类器420标注该像素(i)为该丘陵区域。

该像素区域状态暂存器430连接至该区域分类器420，以暂存该像素(i)及邻近像素所属的区域。图5是本发明该像素区域状态暂存器430的方框图，其是由多个暂存器51～55所组成，每一个暂存器51～55是有3个比特位。暂存器51～55是用以暂存该区域分类器420所标注像素(i-2)至像素(i+2)的区域状态。

当暂存器51～55中的比特值为000b时，是表示对应的像素为左平坦(L_Flat)区域。当暂存器51～55中的比特值为001b时，是表示对应的像素为右平坦(R_Flat)区域。当暂存器51～55中的比特值为010b时，是表示对应的像素为平坦(Flat)区域。当暂存器51～55中的比特值为011b时，是表示对应的像素为短平坦(S_Flat)区域。当暂存器51～55中的比特值为100b时，是表示对应的像素为延伸(Extend)区域。当暂存器51～55中的比特值为101b时，是表示对应的像素为丘陵(Hill)区域。

该左平坦像素侦测装置330侦测到该像素(i)的邻近像素中有一像素为左平坦区域像素时，该左平坦像素侦测装置330输出该左平坦区域像素的像素值(LM_data)。

该右平坦像素侦测装置340侦测到该像素(i)的邻近像素中有一像素为右平坦区域像素时，该右平坦像素侦测装置340输出该右平坦区域像素的像素值(RM_data)。

图6是本发明该边缘强化装置350的方框图，该边缘强化装置350包含一平均线(mean-line)计算装置610、一边缘阶差计算(Edge Level Calculation)装置620、一边缘侧边(Edge Side)判断装置630、一差值计算装置640、一乘法器650、一截位器(Clipper)660、一加法器670及一增益产生装置680。

该平均线计算装置610连接至该左平坦像素侦测装置330及该右平坦像素侦测装置340，依据该左平坦区域像素值LM_data及该右平坦区域像素值RM_data，以产生一平均线mean_line，其中，该平均线mean_line为该左平坦区域像素值LM_data加上该右平坦区域像素值RM_data后再除以2。

该边缘阶差计算装置620连接至该左平坦像素侦测装置330及该右平坦像素侦测装置340，依据该左平坦区域像素值LM_data及该右平坦区域像素值RM_data，以产生一绝对值水平差值LevelDiff_ABS，其中，该绝对值水平差值LevelDiff_ABS为该左平坦区域像素值LM_data减去该右平坦区域像素值RM_data后再取绝对值，亦即LevelDiff_ABS＝|LM_data-RM_data|。

该边缘侧边判断装置630连接至该线缓冲器310及该平均线计算装置610，以判断该像素(i)值是否大于该平均线mean_line。当该像素(i)的像素值Data[i]大于该平均线mean_line时，该边缘侧边判断装置630输出一above_mean_line信号。

该差值计算装置640连接至该线缓冲器310及该平均线计算装置610，以计算该像素(i)值与该平均线mean_line的差值，而产生一数据差值DataDiff。亦即，DataDiff＝Data(i)-mean_line。

该乘法器650连接至该差值计算装置640及该增益产生装置680，其一输入端接收一增益gain，另一输入端接收该数据差值DataDiff，以将该增益与该数据差值DataDiff相乘，而获得一调整数据差值Adj_DataDiff。

该截位器660连接至该乘法器650，以当该调整数据差值超过一阀值时，对该调整数据差值Adj_DataDiff执行截位操作(Clipping)，进而获得一截位数据差值Clip_DataDiff。

该加法器670连接至该截位器660、该边缘侧边(Edge Side)判断装置630及该平均线计算装置610，当该像素(i)的像素值Data[i]大于该平均线mean_line时，该加法器670将该截位数据差值Clip_DataDiff加上该平均线的值mean_line，进而产生该像素(i)的影像边缘强化后的一像素，当该像素(i)的像素值Data[i]不大于该平均线mean_line时，该加法器将该平均线的值mean_line减去该截位数据差值Clip_DataDiff，而产生该像素(i)的影像边缘强化后的一像素。

该增益产生装置680连接至边缘阶差计算(Edge Level Calculation)装置620及该区域分类(region classification)装置320，以产生该增益gain。

图7是本发明该增益产生装置680的方框图，该增益产生装置680包含一动态增益产生器710、一静态增益产生器720及一多工器730，其中动态增益产生器710和静态增益产生器720，用以作为频宽侦测与自动调变增益。

该动态增益产生器710连接至边缘阶差计算装置620及该区域分类装置320，以依据该像素(i)的特性而产生一动态增益dyn_gain。该动态增益dyn_gain为绝对值水平差值LevelDiff_ABS除以一动态斜率dyn_slop，其中，该动态斜率dyn_slop为左边微分L_DDX[i]减去右边微分R_DDX[i]再取绝对值，亦即

$\mathrm{dyn}\_\mathrm{slop}=\frac{\mathrm{LevelDiff}\_\mathrm{ABS}}{\mathrm{dyn}\_\mathrm{slop}}=\frac{\mathrm{LevelDiff}\_\mathrm{ABS}}{|L\_\mathrm{DD}[i]-R\_\mathrm{DD}[i\left]\right|}.$

该动态增益产生器710亦可执行频宽侦测，并输出一第一频宽值BW1，该第一频宽值BW1为该动态斜率dyn_slop除以该绝对值水平差值LevelDiff_ABS，亦即

$\mathrm{BW}1=\frac{\mathrm{dyn}\_\mathrm{slop}}{\mathrm{LevelDiff}\_\mathrm{ABS}}.$

于其他实施例中，该第一频宽值BW1亦可为该绝对值水平差值LevelDiff_ABS减去该动态斜率dyn_slop，亦即BW1＝LevelDiff_ABS-dyn_slop。

该静态增益产生器720连接至该边缘阶差计算620装置，以依据该绝对值水平差值LevelDiff_ABS产生一静态增益sta_gain，其中，该静态增益sta_gain为绝对值水平差值LevelDiff_ABS除以一常数const，亦即

$\mathrm{sta}\_\mathrm{slop}=\frac{\mathrm{LevelDiff}\_\mathrm{ABS}}{\mathrm{const}}.$

该静态增益产生器720亦可执行频宽侦测，并输出一第二频宽值BW2，该第二频宽值BW2为该绝对值水平差值LevelDiff_ABS的倒数，亦即

$\mathrm{BW}2=\frac{1}{\mathrm{LevelDiff}\_\mathrm{ABS}}.$

该多工器730连接至该动态增益产生器710及该静态增益产生器720及一预设增益值pre_gain，以依据一gain_select信号选择该动态增益dyn_gain、该静态增益sta_gain或该预设增益值pre_gain，用以作为该增益产生装置680的输出。

本发明利用该增益产生装置680所产生的增益gain以调整该数据差值DataDiff，进而达到影像边缘强化的目的。由于使用该动态增益产生器710所产生的动态增益dyn_gain，故在进行影像边缘强化时，能考虑到该像素(i)及邻近像素的特性，因此能大幅降低增强边缘锐利度时造成的人为影像缺陷，同时对于影像的细微纹路能够正确的保留。

参见图3，该多功能滤波器360其连接至该线缓冲器310及该区域分类装置320，当该像素(i)为左平坦(L_Flat)区域、右平坦(R_Flat)区域、平坦(Flat)区域或短平坦(S_Flat)区域时，执行相对应的滤波处理。

当该像素(i)为该短平坦区域时，该多功能滤波器360是使用一第一滤波器对该像素(i)执行滤波，其中，该第一滤波器的系数为$\left(\begin{array}{ccc}\frac{1}{4}& \frac{2}{4}& \frac{1}{4}\end{array}\right).$

当该像素(i)为该左平坦区域时，该多功能滤波器360是使用一第二滤波器对该像素(i)执行滤波，其中，该第二滤波器的系数为$\left(\begin{array}{ccccc}\frac{1}{4}& \frac{1}{4}& \frac{2}{4}& 0& 0\end{array}\right).$

当该像素(i)为该右平坦区域时，该多功能滤波器360系使用一第三滤波器对该像素(i)执行滤波，其中，该第三滤波器的系数为$\left(\begin{array}{ccccc}0& 0& \frac{2}{4}& \frac{1}{4}& \frac{1}{4}\end{array}\right).$

当该像素(i)为该平坦区域时，该多功能滤波器360系使用一第四滤波器对该像素(i)执行滤波，其中，该第四滤波器的系数为

$\left(\begin{array}{ccccc}\frac{1}{16}& \frac{3}{16}& \frac{8}{16}& \frac{3}{16}& \frac{1}{16}\end{array}\right).$

由上述说明可知，本发明技术可改良已知技术使用滤波器来侦测影像边缘，进而产生对噪音抵抗能力不足或影像细微纹路被忽略的问题。

本发明技术通过区域分类装置320根据影像像素的微分值及斜率值对影像像素进行区域分类，将影像像素分为左平坦区域、右平坦区域、平坦区域、短平坦区域、延伸区域、及丘陵区域，以此使用多功能滤波器360对平坦的区域执行去噪音：

当像素为短平坦区域时，多功能滤波器使用系数为$\left(\begin{array}{ccc}\frac{1}{4}& \frac{2}{4}& \frac{1}{4}\end{array}\right)$的第一滤波器对该像素执行滤波；当像素为左平坦区域时，多功能滤波器使用系数为$\left(\begin{array}{ccccc}\frac{1}{4}& \frac{1}{4}& \frac{2}{4}& 0& 0\end{array}\right)$的第二滤波器对该像素执行滤波；当像素为右平坦区域时，多功能滤波器使用系数为$\left(\begin{array}{ccccc}0& 0& \frac{2}{4}& \frac{1}{4}& \frac{1}{4}\end{array}\right)$的第三滤波器对该像素执行滤波；当像素为平坦区域时，多功能滤波器使用系数为$\left(\begin{array}{ccccc}\frac{1}{16}& \frac{3}{16}& \frac{8}{16}& \frac{3}{16}& \frac{1}{16}\end{array}\right)$的第四滤波器对该像素执行滤波，从而达到对不同的影像区域用不同的滤波系数去除噪音，使去噪音更精准的目的。

本发明使用边缘强化装置350对边缘转变区域计算出其边缘中心(edgecenter)，根据边缘中心两侧的像素值与平均值的差值及一增益获得一调整数据差值，将边缘中心两侧的像素中大于平均值的像素加上该调整数据差值，将边缘中心两侧的像素中小于等于平均值的像素减去该调整数据差值，从而达到加大其亮度/彩度的变化梯度的目的。本发明技术利用相同的硬件架构同时实现去噪音及增加边缘锐利度等两种影像处理的效果，而达到节省硬件花费的目的。

本发明技术可减少人工调整最佳参数的时间耗费，进而增加在不同系统上转移的灵活性。本发明技术与已知技术不同处在于抓取亮度/彩度变动缓和区作为增强边缘锐利度的依据，因而可大幅降低增强边缘锐利度时所产生的人为影像缺陷，同时对于影像细微纹路能够正确的保留。

本发明技术使用多向多重斜率侦测的方法，可以有效的侦测出多种波形，并依此正确地计算出边缘转变区中两个转变边界(transient side)和转变边缘的中心点(transient edge center)。通过该两个转变边界(transient side)和转变边缘的中心点(transient edge center)的明确的影像信息作为增强边缘的调整依据，影像输出品质可以大幅的避免因增强边缘转换区(edgetransient region)中变动不稳定的数据导致增强的强度的不一致而造成产生出人为影像的缺陷。

上述实施例仅是为了方便说明而举例而已，本发明所要求的权利范围应以权利要求书所述为准，而非仅限于上述实施例。