一种边缘导向的自适应图像插值方法及其VLSI实现装置

摘要

一种边缘导向的自适应图像插值方法及其VLSI实现装置，计算源图像像素点梯度幅值和梯度方向，通过比较梯度幅值与局部自适应阈值获得边缘信息，边缘方向为梯度方向的垂直方向；将边缘方向分类，利用边缘信息进行滤波，将图像分为规则边缘和非边缘区域。规则边缘区域沿边缘方向插值，且根据边缘信息的分类分别采用基于局部梯度信息的改进双三次插值方法、斜向双三次插值方法、斜向双线性插值方法进行图像插值；非边缘区域采用基于局部梯度信息的改进双三次插值方法进行图像插值；本发明的装置包括边缘信息提取模块，自适应插值模块、输入行场以及缩放后行场同步控制模块。本发明能显著提高高倍率缩放下的图像插值效果，有利于集成电路架构实现。

说明书

技术领域

本发明属于数字视频图像处理与显示技术领域，具体涉及一种边缘导向的自 适应图像插值方法及其VLSI实现装置。

背景技术

视频显示系统中，由于视频源分辨率多种多样，视频输入信号在被送入平板 显示器件显示之前，需要经过图像插值缩放处理。图像插值缩放单元将不同格式 和分辨率的图像进行放大或缩小，使其成为显示屏可以支持的图像格式。随着显 示面板尺寸和分辨率的不断提升，图像插值缩放技术在视频处理系统中的地位越 来越重要。由于图像插值缩放的性能直接决定了视频显示的质量，因此视频显示 系统迫切需要高质量的图像插值缩放来提高用户的视觉体验。

当前，平板显示器件已普及了高清分辨率，并迅速向超高清分辨率4K （3840*2160）发展。然而，由于受到拍摄、编辑和处理设备等因素的限制，视 频源大部分还处在标清分辨率水平。以480P（720*480）分辨率视频源在4K分 辨率显示面板上显示为例，其放大倍数将达到近25倍，这样一高倍率缩放使传 统基于双线性和双三次图像缩放技术在图像边缘区域产生较明显的锯齿或失真， 从而无法满足实际需求。

基于边缘的自适应图像插值技术考虑到图像内容信息的差异，自适应选择恰 当的方法，有望解决图像边缘和细节的失真。但是，考虑边缘的插值计算通常需 要复杂的算法处理和较多的运算资源，难以通过集成电路设计来实现，因此很难 满足实时处理的视频显示系统的需求。

发明内容

本发明的目的在于提出一种硬件资源耗费低的边缘导向的自适应图像插值 方法及其VLSI实现装置，该方法能够在高缩放倍率条件下保证图像边缘和细节 部分清晰无失真；同时，该方法还能以有限的运算资源实现对视频图像的实时处 理，有利于集成电路架构实现。

为了实现上述目的，本发明边缘导向的自适应图像插值方法包括以下步骤：

1）计算源图像像素点的梯度幅值和梯度方向，通过比较梯度幅值和局部自 适应阈值获得边缘信息，边缘方向为梯度方向的垂直方向；

2）将边缘方向分类成8个角度域，采用边缘信息滤波方法对边缘信息进行 滤波，以使源图像分为规则边缘区域与非边缘区域；其中，所述的滤波方法的步 骤如下：

2.1）选取待插值点pi周围4x4阵列的16个像素点作为pi的边缘信息滤波参 考点，4x4阵列为参考阵列，统计4x4阵列中边缘点个数，记为counter；在4x4 阵列的边缘点中统计边缘方向分类的8个角度域中各个角度域的边缘点个数，记 为edge_counter(m),m=0,1,…7，找出8个角度域中边缘点分布最多的角度域m_max， m_max的边缘点个数记为max_edge_counter，m_max的边缘点方向记为 max_edge_region；

2.2）若counter≥4，并且有max_edge_counter/counter>th时，则pi处于规则边 缘区域，pi的边缘方向为max_edge_region，插值时pi沿边缘方向插值；否则，pi 处于非边缘区域；其中，th表示判定阈值；

3）将边缘方向分类成的8个角度域划分成角度类Ⅰ、角度类Ⅱ以及角度类 Ⅲ；当待插值点pi处于规则边缘区域时，若pi处于角度类Ⅰ中，则采用基于局 部梯度信息的改进双三次插值方法进行图像插值；若pi处于角度类Ⅱ中，则采用 斜向双三次插值方法进行图像插值；若pi处于角度类Ⅲ中，则采用斜向双线性插 值方法进行图像插值；

当pi处于非边缘区域时，采用基于局部梯度信息的改进双三次插值方法进行 图像插值。

所述的局部自适应阈值的计算方法为：

对于源图像中的每一个像素点，计算以其为中心的3x3窗内的梯度幅值的均 值average_th，局部自适应阈值local_th由下式得到：

local_th=max(average_th，min_th)

其中，min_th为设置的局部自适应阈值的下限。

所述的步骤2）将边缘方向分类成8个角度域的方法为：

将边缘方向划分为8个角度域，记为角度域0～7，分别以过零点的0、22.5°、 45°、67.5°、90°、112.5°、135°以及157.5°方向的射线及其反向延长线为中心分 割线，再将中心分割线分别向顺时针方向和逆时针方向旋转11.25°。

所述的步骤3）中角度类Ⅰ包括角度域0和角度域4，角度域0为水平边缘 方向，角度域4为垂直边缘方向；角度类Ⅱ包括角度域2和角度域6，角度域2 为45°的边缘方向，角度域6为135°的边缘方向；角度类Ⅲ包括角度域1、角度 域3、角度域5以及角度域7，角度域1为22.5°的边缘方向、角度域3为67.5° 的边缘方向、角度域5为112.5°的边缘方向、角度域7为157.5°的边缘方向。

所述的基于局部梯度信息的改进双三次插值方法为：

设pi为待插值点，P(i-1,j-1)～P(i+2,j+2)代表源图像中pi邻域的16个像素 点，插值系数的权重调整模板由下式得到：

$\left(\begin{array}{c}{H}_l=1/\sqrt{1+\alpha \left(\mathrm{abs}(P(i,j)-P(i,j-1))\right)+\alpha \left(\mathrm{abs}(P(i+1,j)-P(i+1,j-1))\right)}\\ H_r=1/\sqrt{1+\alpha \left(\mathrm{abs}(P(i,j+1)-P(i,j+2))\right)+\alpha \left(\mathrm{abs}(P(i+1,j+1)-P(i+1,j+2))\right)}\\ V_u=1/\sqrt{1+\alpha \left(\mathrm{abs}(P(i,j)-P(i-1,j))\right)+\alpha \left(\mathrm{abs}(P(i,j+1)-P(i-1,j+1))\right)}\\ V_l=1/\sqrt{1+\alpha \left(\mathrm{abs}(P(i+1,j)-P(i+2,j))\right)+\alpha \left(\mathrm{abs}(P(i+1,j+1)-P(i+2,j+2))\right)}\end{array}\right)$

式中：H_l——水平方向左侧权重的调整模板；H_r——水平方向右侧权重的 调整模板；V_u——垂直方向上侧权重的调整模板；V_l——垂直方向下侧权重的调 整模板；α——可调节的参数；

得到H_l、H_r、V_u、V_l模板后对插值系数进行归一化处理，即得到基于局部梯 度信息的改进双三次插值的公式，然后采用基于局部梯度信息的改进双三次插值 的公式对待插值点进行插值。

所述的步骤3）中斜向双三次插值方法与双三次插值方法的区别在于：在选 取待插值点阵列时，按待插值点所在的角度域对应的角度和待插值点位置对参考 阵列进行方向偏移。

所述的步骤3）中斜向双线性插值方法与双线性插值方法的区别在于：在选 取待插值点阵列时，按待插值点所在的角度域对应的角度和待插值点位置对参考 阵列进行方向偏移。

一种边缘导向的自适应图像插值方法的VLSI实现装置，包括边缘信息提取 模块、自适应插值模块、输入行场同步控制模块以及缩放后行场同步控制模块；

输入行场同步控制模块用于为边缘信息提取模块、自适应插值模块以及缩放 后行场同步控制模块提供同步后的行场信号H/V；

边缘信息提取模块用于输入视频图像的边缘信息提取；

缩放后行场同步控制模块用于产生缩放后的视频H/V同步信息，缩放后行 场同步控制模块将缩放后的行场同步信号H/V输入到自适应插值模块；

自适应插值模块用于对输入的视频进行自适应插值并输出缩放后匹配显示 器分辨率的视频信号。

所述的边缘信息提取模块包括第一行存阵列模块、梯度幅值计算模块、梯度 方向计算及方向分类模块、局部自适应阈值计算模块、图像二值化模块、边缘信 息滤波模块；

其中，第一行存阵列模块的硬件实现方式为双口SRAM，用于缓存相邻视频 数据行；

梯度幅值计算模块用于计算源图像的梯度幅值；

局部自适应阈值计算模块用于在梯度幅值计算基础上通过3x3的均值滤波 器得到源图像每一个像素对应的局部自适应阈值；

图像二值化模块用于输入源图像的梯度幅值和局部自适应阈值，并通过比较 源图像像素的梯度幅值和其对应的局部自适应阈值提取出源图像的边缘信息；

梯度方向计算及方向分类模块用于根据边缘方向划分的8个角度域对边缘 进行方向归类；

边缘信息滤波模块用于确定待插值点是否处于规则边缘区域，并判断待插值 点的边缘方向。

所述的自适应插值模块包括第二行存阵列模块、待插值点偏移量生成与参考 点选取模块、插值系数查找表memory模块、三种不同方式的插值模块以及输出 选择模块；

其中，待插值点偏移量生成与参考点选取模块用于计算待插值点与参考点的 偏移量以及用于计算当前插值所需的参考点阵列，待插值点偏移量生成与参考点 选取模块将计算出的偏移量信号送给插值系数查找表memory模块；

插值系数查找表memory模块的硬件实现方式为ROM或者SRAM，用于根 据偏移量得到当前待插值点所需的插值系数；

第二行存阵列模块的硬件实现方式为双口SRAM，用于缓存相邻的视频数据 行，并根据当前待插值点选取对应的参考点阵列。

三种不同方式的插值模块包括基于梯度信息的改进双三次插值模块、斜向双 线性插值模块、斜向双三次插值模块；三种不同方式的插值模块的输入信号为插 值系数查找表memory模块输出的插值系数和第二行存阵列模块输出的插值参考 点阵列；

输出选择模块用于从三种不同方式的插值模块中选择何种的插值方法对当 前待插值点进行插值，选择何种方式的插值方法由边缘信息提取模块输出的待插 值点边缘信息作为控制信号进行输出选择的。

与现有技术相比，本发明的有益效果在于：

本发明的自适应图像插值方法，首先通过简单的梯度幅值和梯度方向计算提 取源图像的边缘信息，并将边缘方向划分为8个角度域，然后通过边缘信息滤波 滤除噪声边缘，保证了待插值点边缘信息和方向信息的准确性，最后根据不同方 向采用自适应的插值方法，这样就能够在高倍率缩放条件下，解决源图像缩放后 模糊和边缘出现锯齿的现象，而且具有对各种图像内容广泛的适应性；本发明的 各个模块计算度相对简单，基于边缘的自适应图像插值技术的关键在于以适当的 运算资源和处理速度达到对缩放中图像的边缘和细节良好的保护，并有利于通过 集成电路架构实现，因此，本发明易于VLSI硬件实现，资源耗费低且满足实时 性需求。

附图说明

图1为本发明边缘导向的自适应图像插值方法的流程图；

图2为本发明边缘信息提取流程图；

图3为本发明边缘方向分类示意图；

图4为本发明边缘信息滤波方法点阵选取示意图；

图5为本发明边缘信息滤波方法流程图；

图6为本发明基于局部梯度信息改进双三次插值算法模板示意图；

图7为本发明45°角度域采用斜向双三次插值示意图；其中，h为水平方向， v为垂直方向；

图8为本发明22.5°角度域采用斜向双线性插值示意图；

图9为本发明边缘导向的自适应图像插值的VLSI实现装置。

具体实施方式

以下结合附图和实施例对本发明作进一步的详细说明。

参见图1-8，本发明边缘导向的自适应图像插值方法包括边缘信息提取和自 适应插值两部分；

1）图2所示为边缘信息提取流程图，计算源图像像素点的梯度幅值和梯度 方向，通过比较梯度幅值和局部自适应阈值获得边缘信息；如果某一像素点的梯 度幅值大于局部自适应阈值，则判定该像素点为边缘点，否则为非边缘点；根据 梯度幅值和局部自适应阈值的比较结果得出边缘二值图；局部自适应阈值的计算 方法为：对于源图像中的每一个像素点，计算以其为中心的3x3窗内的梯度幅值 的均值average_th，则局部自适应阈值local_th由下式得到：

local_th=max(average_th，min_th)

式中，min_th为设置的局部自适应阈值的下限，min_th的取值范围为10～30 的整数。

边缘方向信息为梯度方向的垂直方向。

2）图3所示为边缘方向分类的示意图。要提高方向插值的精度，需要对边 缘方向进行较为细致的分类。本发明将边缘方向分类成8个角度域，其具体划分 方法为：将边缘方向划分为8个角度域，记为0～7，分别以过零点的0、22.5°、 45°、67.5°、90°、112.5°、135°以及157.5°方向的射线及其反向延长线为中心分 割线，再将中心分割线分别向顺时针方向和逆时针方向旋转11.25°；

在对边缘方向分类完成之后，采用边缘信息滤波方法对边缘信息进行滤波， 从而将源图像内容分为规则边缘区域与非边缘区域；规则边缘区域指局部区域亮 度梯度值较大，表现出边缘方向较为一致特性的区域，其它均为非边缘区域；根 据边缘方向所在的区域范围确定插值方向；滤波的方法见图4-图5，具体步骤如 下：

2.1）在图4所示选取的点阵中统计边缘信息，具体步骤如图5所示：

选取待插值点pi周围4x4阵列的P(1,1)～P(4,4)16个像素点作为pi的边缘信息 滤波参考点，4x4阵列作为参考阵列，统计4x4阵列中边缘点个数，记为counter； 在4x4阵列的边缘点中统计边缘方向分类的8个角度域中各个角度域的边缘点个 数，记为edge_counter(m),m=0,1,2…7，并找出8个角度域中边缘点最多的角度域 m_max，m_max的边缘点个数记为max_edge_counter，m_max的边缘点方向记为 max_edge_region；

2.2）在完成对边缘信息的统计后开始滤波，滤波的原理基于这样一个事实： 对于边缘检测的噪声点来说，其延续性较差，其领域内被判断为边缘点的个数较 少；并且方向性差，落在同一或者相邻的边缘区域内的概率较低。对于本发明关 心的规则边缘，本发明进行如下滤波过程：

若counter≥4，并且有max_edge_counter/counter>th时，则pi处于规则边缘区 域，pi边缘方向为max_edge_region，插值时pi沿边缘方向插值；否则，pi处于 非边缘区域，插值采用基于局部梯度信息的改进双三次插值方法（Hwang,Jung Woo, and Hwang Soo Lee."Adaptive image interpolation based on local gradient features."Signal Processing Letters, IEEE11.3(2004):359-362.）；其中th表示判定阈值，th取值范围为0.5～0.8；取值越大得 到的边缘点越少，但得到待插值点为规则边缘点的概率越大，噪声越少。

3）当待插值点pi处于规则边缘区域时，即针对边缘滤波后仍然判断为边缘 区域的待插值点，根据待插值点所处的角度域将其划分成角度类Ⅰ、角度类Ⅱ以 及角度类Ⅲ；角度类Ⅰ包括角度域0和角度域4，角度域0为水平边缘方向，角 度域4为垂直边缘方向；角度类Ⅱ包括角度域2和角度域6，角度域2为45°的 边缘方向，角度域6为135°的边缘方向；角度类Ⅲ包括角度域1、角度域3、角 度域5以及角度域7，角度域1为22.5°的边缘方向、角度域3为67.5°的边缘方 向、角度域5为112.5°的边缘方向、角度域7为157.5°的边缘方向。

若待插值点pi处于角度类Ⅰ中，则采用基于局部梯度信息的改进双三次插值 方法进行图像插值；若待插值点pi处于角度类Ⅱ中，则采用斜向双三次插值方法； 若待插值点pi处于角度类Ⅲ中，采用斜向双线性插值方法进行图像插值。

当待插值点pi处于非边缘区域时，采用基于局部梯度信息的改进双三次插值 方法进行图像插值。

图6为本发明基于局部梯度信息的改进双三次插值方法模板示意图。设pi为 待插值点，P(i-1,j-1)～P(i+2,j+2)代表源图像中pi邻域的16个像素点，插值系 数权重调整模板为：

$\left(\begin{array}{c}{H}_l=1/\sqrt{1+\alpha \left(\mathrm{abs}(P(i,j)-P(i,j-1))\right)+\alpha \left(\mathrm{abs}(P(i+1,j)-P(i+1,j-1))\right)}\\ H_r=1/\sqrt{1+\alpha \left(\mathrm{abs}(P(i,j+1)-P(i,j+2))\right)+\alpha \left(\mathrm{abs}(P(i+1,j+1)-P(i+1,j+2))\right)}\\ V_u=1/\sqrt{1+\alpha \left(\mathrm{abs}(P(i,j)-P(i-1,j))\right)+\alpha \left(\mathrm{abs}(P(i,j+1)-P(i-1,j+1))\right)}\\ V_l=1/\sqrt{1+\alpha \left(\mathrm{abs}(P(i+1,j)-P(i+2,j))\right)+\alpha \left(\mathrm{abs}(P(i+1,j+1)-P(i+2,j+2))\right)}\end{array}\right)$

式中：H_l——水平方向左侧权重的调整模板；H_r——水平方向右侧权重的调 整模板；V_u——垂直方向上侧权重的调整模板；V_l——垂直方向下侧权重的调整 模板；α——可调节的参数，α越大，梯度值对插值系数权重的影响越大，反之 亦然，α优选为0.01。

本发明采用离线计算插值权重模板，利用RAM查找表代替开方计算，以水 平方向左侧权重的调整模板H_l为例说明，将 $H_l=1/\sqrt{1+\alpha \left(\mathrm{abs}(P(i,j)-P(i,j-1))\right)+\alpha \left(\mathrm{abs}(P(i+1,j)-P(i+1,j-1))\right)}$变形为：

$H_l=1/\sqrt{1+\alpha \times \mathrm{\Delta x}}$

式中：Δx——abs(P(i,j)-P(i,j-1))+abs(P(i+1,j)-P(i+1,j-1))。

其中，对于给定的α，Δx取值有511种（8位图像而言），相应的有511个 对应的H_l值。

同理：

$\left(\begin{array}{c}{H}_r=1/\sqrt{1+\alpha \left(\mathrm{abs}(P(i,j+1)-P(i,j+2))\right)+\alpha \left(\mathrm{abs}(P(i+1,j+1)-P(i+1,j+2))\right)}\\ V_u=1/\sqrt{1+\alpha \left(\mathrm{abs}(P(i,j)-P(i-1,j))\right)+\alpha \left(\mathrm{abs}(P(i,j+1)-P(i-1,j+1))\right)}\\ V_l=1/\sqrt{1+\alpha \left(\mathrm{abs}(P(i+1,j)-P(i+2,j))\right)+\alpha \left(\mathrm{abs}(P(i+1,j+1)-P(i+2,j+2))\right)}\end{array}\right)$

也可以采用$H_l=1/\sqrt{1+\alpha \left(\mathrm{abs}(P(i,j)-P(i,j-1))\right)+\alpha \left(\mathrm{abs}(P(i+1,j)-P(i+1,j+1))\right)}$的 变形方法进行变形。

本发明在离线先计算好所有的权重调整模板值（H_l、H_r、V_u以及V_l）后， 利用硬件设计中的RAM行存，分别把Δx看做地址，把对应的权重调整模板值看 做存储内容，通过读取对应地址的行存内容的查找表方式达到避免开方操作的目 的。使用RAM的好处在于对于不同的α得到的权重调整模板不同，针对不同的 α离线生成不同的权重调整模板，写入RAM代替开方操作。

得到权重调整模板值以后，经过归一化处理可以得到新的双三次插值公式, 具体过程如下：

首先，令

Sumh=h1+h2×H_l+h3×H_r+h4;Sumv=v1+v2×V_u+v3×V_l+v4

式中：h1、h2、h3、h4——双三次水平方向插值的四个插值系数；v1，v2， v3，v4——双三次垂直方向插值的四个插值系数；在图6中，记deltah=d,deltav=e， 且deltah代表“水平方向”的相对距离，deltav代表“垂直方向”的相对距离，则 h1～h4的表达式如下：

$\left(\begin{array}{c}h1=(-{\mathrm{deltah}}^3+2\times {\mathrm{deltah}}^2-\mathrm{deltah})/2\\ h2=(3\times {\mathrm{deltah}}^3-5\times {\mathrm{deltah}}^2+2)/2\\ h3=(-3\times {\mathrm{deltah}}^3+4\times {\mathrm{deltah}}^2+\mathrm{deltah})/2\\ h4=({\mathrm{deltah}}^3-{\mathrm{deltah}}^2)/2\end{array}\right)$

同理，v1～v4的表达式如下：

$\left(\begin{array}{c}v1=(-{\mathrm{deltav}}^3+2\times {\mathrm{deltav}}^2-\mathrm{deltav})/2\\ v2=(3\times {\mathrm{deltav}}^3-5\times {\mathrm{deltav}}^2+2)/2\\ v3=(-3\times {\mathrm{deltav}}^3+4\times {\mathrm{deltav}}^2+\mathrm{delrtav})/2\\ v4=({\mathrm{deltav}}^3-{\mathrm{deltav}}^2/2)\end{array}\right)$

得到Sumh与Sumv后归一化得到新的插值系数，归一化的具体过程如下：

$\left(\begin{array}{c}\mathrm{mh}1=h1/\mathrm{Sumh}\\ \mathrm{mh}2=h2\times H_l/\mathrm{Sumh}\\ \mathrm{mh}3=h3\times H_r/\mathrm{Sumh}\\ \mathrm{mh}4=h4/\mathrm{Sumh}\end{array}\right)$

同样可以得到：

$\left(\begin{array}{c}\mathrm{mv}1=v1/\mathrm{Sumv}\\ \mathrm{mv}2=v2\times V_u/\mathrm{Sumv}\\ \mathrm{mv}3=v3\times V_l/\mathrm{Sumv}\\ \mathrm{mv}4=v4/\mathrm{Sumv}\end{array}\right)$

那么，基于局部梯度信息的改进双三次插值方法的插值公式为（以图6为 例）：

$\left(\begin{array}{c}\mathrm{ph}1=P(i-1,j-1)\times \mathrm{mh}1+P(i-1,j)\times \mathrm{mh}2+P(i-1,j+1)\times \mathrm{mh}3+P(i-1,j+2)\times \mathrm{mh}4\\ \mathrm{ph}2=P(i,j-1)\times \mathrm{mh}1+P(i,j)\times \mathrm{mh}2+P(i,j+1)\times \mathrm{mh}3+P(i,j+2)\times \mathrm{mh}4\\ \mathrm{ph}3=P(i+1,j-1)\times \mathrm{mh}1+P(i+1,j)\times \mathrm{mh}2+P(i+1,j+1)\times \mathrm{mh}3+P(i+1,j+2)\times \mathrm{mh}4\\ \mathrm{ph}4=P(i+2,j-1)\times \mathrm{mh}1+P(i+2,j)\times \mathrm{mh}2+P(i+2,j+1)\times \mathrm{mh}3+P(i+2,j+2)\times \mathrm{mh}4\end{array}\right)$

式中：ph1～ph4——四次水平插值得到的插值点，将得到的四次水平插值的 点再进行一次垂直插值得到：pi=ph1×mv1+ph2×mv2+_xh3×mv3+ph4×mv4

本发明采用的斜向双三次插值方法与双三次插值方法的区别在于：在选取待 插值点阵列时，按待插值点所在的角度域对应的角度和待插值点位置对参考阵列 进行方向偏移。即参与插值的图像点的选取以双三次插值点阵选取为基础扩展， 按插值方向对参考阵列进行方向偏移，并根据待插值点所在的位置进行调整。

图7为本发明45°角度域采用斜向双三次插值示意图。待插值点记为pi，规 定其左上角最近的图像点为参考点，pi与参考点的距离表示为(d,e)，d为水平距 离，e为垂直距离，如图6中所示。由图6易知0≤d,e≤1。由待插值点与源图像 的相对位置关系，分为二种插值情形。“水平方向”与“垂直方向”的相对距离为 deltah与deltav，利用平面几何平行线的等比特性把其转换成参数为d,e的表达式， 简化计算，记归一化后的deltah为Δh，deltav为Δv。

插值情形1，如图7所示，(1-d)/e≤1：

插值点选取（记为p11～p44）：

p₁₁=P(i-1,j+1)，p₁₂=P(i-1,j+2)，p₁₃=P(i-1,j+3)，p₁₄=P(i-1,j+4)

p₂₁=P(i,j)，p₂₂=P(i,j+1)，p₂₃=P(i,j+2)，p₂₄=P(i,j+3)

p₃₁=P(i+1,j-1)，p₃₂=P(i+1,j)，p₃₃=P(i+1,j+1)，p₃₄=P(i+1,j+2)

p₄₁=P(i+2,j-2)，p₄₂=P(i+2,j-1)，p₄₃=P(i+2,j)，p₄₄=P(i+2,j+1)

插值公式：

Δh=d+e-1，Δv=e

coefh1=(-Δh³+2×Δh²-Δh)/2，coefh2=(3×Δh³-5×Δh²+2)/2

coefh3=(-3×Δh³+4×Δh²+Δh)/2，coefh4=(Δh³-Δh²)/2

coefv1=(-Δv³+2×Δv²-Δv)/2，coefv2=(3×Δv³-5×Δv²+2)/2

coefv3=(-3×Δv³+4×Δv²+Δv)/2，coefv4=(Δv³-Δv²)/2

ph1=p₁₁×coefh1+p₁₂×coefh2+p₁₃×coefh3+p₁₄×coefh4

ph2=p₂₁×coefh1+p₂₂×coefh2+p₂₃×coefh3+p₂₄×coefh4

ph3=p₃₁×coefh1+p₃₂×coefh2+p₃₃×coefh3+p₃₄×coefh4

ph4=p₄₁×coefh1+p₄₂×coefh2+p₄₃×coefh3+p₄₄×coefh4

pi=ph1×coefv1+ph2×coefv2+ph3×coefv3+ph4×coefv4

插值情形2，(1-d)/e>1：

插值点选取：

p₁₁=P(i-1,j)，p₁₂=P(i-1,j+1)，p₁₃=P(i-1,j+2)，p₁₄=P(i-1,j+3)

p₂₁=P(i,j-1)，p₂₂=P(i,j)，p₂₃=P(i,j+1)，p₂₄=P(i,j+2)

p₃₁=P(i+1,j-2)，p₃₂=P(i+1,j-1)，p₃₃=P(i+1,j)，p₃₄=P(i+1,j+1)

p₄₁=P(i+2,j-3)，p₄₂=P(i+2,j-2)，p₄₃=P(i+2,j-1)，p₄₄=P(i+2,j)

插值公式：

Δh=d+e，Δv=e

coefh1=(-Δh³+2×Δh²-Δh)/2，coefh2=(3×Δh³-5×Δh²+2)/2

coefh3=(-3×Δh³+4×Δh²+Δh)/2，coefh4=(Δh³-Δh²)/2

coefv1=(-Δv³+2×Δv²-Δv)/2，coefv2=(3×Δv³-5×Δv²+2)/2

coefv3=(-3×Δv³+4×Δv²+Δv)/2，coefv4=(Δv³-Δv²)/2

ph1=p₁₁×coefh1+p₁₂×coefh2+p₁₃×coefh3+p₁₄×coefh4

ph2=p₂₁×coefh1+p₂₂×coefh2+p₂₃×coefh3+p₂₄×coefh4

ph3=p₃₁×coefh1+p₃₂×coefh2+p₃₃×coefh3+p₃₄×coefh4

ph4=p₄₁×coefh1+p₄₂×coefh2+p₄₃×coefh3+p₄₄×coefh4

pi=ph1×coefv1+ph2×coefv2+ph3×coefv3+ph4×coefv4

本发明采用的斜向双线性插值方法与双线性插值方法的区别在于：在选取待 插值点阵列时，按待插值点所在的角度域对应的角度和待插值点位置对参考阵列 进行方向偏移。即参与插值的源图像点的选取以双线性插值点阵选取为基础扩 展，按插值方向对参考阵列进行方向偏移，并根据待插值点所在的位置进行调整。

图8为本发明22.5°角度域采用斜向双线性插值示意图，其中d,e满足： (1-d)/e>2。由待插值点与源图像的相对位置关系，分为三种插值情形。

插值情形1，如图8中所示，(1-d)/e>2：

插值点选取：

p1=P(i,j)，p2=P(i,j+1)

p3=P(i+1,j-2)，p4=P(i+1,j-1)

插值公式：

Δh=2e+d，Δv=e

ph1=(1-Δh)×p1+Δh×p2

ph2=(1-Δh)×p3+Δh×p4

pi=(1-Δv)×ph1+Δv×ph2

式中：

ph1、ph2——“水平方向”插值得到的两个插值点。 插值情形2，(1-d)/e≤2并且d/(1-e)<2：

插值点选取：

p1=P(i,j+1)，p2=P(i,j+2)

p3=P(i+1,j-1)，p4=P(i+1,j)

插值公式：

Δh=2e+d-1，Δv=e

ph1=(1-Δh)×p1+Δh×p2

ph2=(1-Δh)×p3+Δh×p4

pi=(1-Δv)×ph1+Δv×ph2

插值情形3，d/(1-e)≥2：

插值点选取：

p1=P(i,j+2)，p2=P(i,j+3)

p3=P(i+1,j)，p4=P(i+1,j+1)

插值公式：

Δh=2e+d-2，Δv=e

ph1=(1-Δh)×p1+Δh×p2

ph2=(1-Δh)×p3+Δh×p4

pi=(1-Δv)×ph1+Δv×ph2

其他角度域中的67.5°、112.5°和157.5°插值过程与22.5°角度域类似，剩下 的135°角度域插值过程与45°角度域类似。

图9为本发明边缘导向的自适应图像插值的VLSI实现装置，此图是图1的 一种VLSI实现说明，而非对本发明硬件实现的限制。

图9中边缘导向的自适应图像插值的VLSI实现装置包括四个功能模块：边 缘信息提取模块、自适应插值模块，输入行场同步控制模块和缩放后行场同步控 制模块。

边缘导向的自适应图像插值的VLSI实现装置的输入视频信号为视频 YCBCR信号以及输入行场信号H/V，输出为缩放后匹配显示器分辨率的视频 YCBCR信号以及其缩放后行场信号。

输入行场同步控制模块用于为边缘信息提取模块、自适应插值模块以及缩放 后行场同步控制模块提供同步后的行场信号H/V；边缘信息提取模块用于输入视 频YCBCR信号的边缘信息提取；缩放后行场同步控制模块用于产生缩放后的视 频H/V同步信息，缩放后行场同步控制模块将缩放后的行场同步信号H/V输入 到自适应插值模块，同时还将缩放后的行场同步信号H/V输出以供视频系统后 续模块使用；自适应插值模块用于对输入的视频图像YCBCR信号进行自适应插 值并输出缩放后匹配显示器分辨率的视频YCBCR信号。

所述边缘信息提取模块包括第一行存阵列模块、梯度幅值计算模块、局部自 适应阈值模块、梯度方向计算及方向分类模块、图像二值化模块、边缘信息滤波 模块，其只需要视频信号中的亮度信息。

第一行存阵列的典型硬件实现方式为双口SRAM，用于缓存相邻视频数据 行，为后续模块的处理提供对应的数据基础；梯度幅值计算模块计算源图像的梯 度幅值；局部自适应阈值计算模块用于在梯度幅值计算基础上通过3x3的均值滤 波器得到源图像每一个像素对应的局部自适应阈值。

图像二值化模块用于输入源图像的梯度幅值和局部自适应阈值，并通过比较 源图像的梯度幅值和其对应的局部自适应阈值提取出源图像的边缘信息；梯度方 向计算及方向分类模块用于根据边缘方向划分的8个角度域方向对边缘进行方 向归类；边缘信息滤波模块用于确定待插值点是否处于规则边缘区域，并判断待 插值点的边缘方向。

所述的自适应插值模块包括第二行存阵列模块、待插值点偏移量生成与参考 点选取模块、插值系数查找表memory模块、三种不同方式的插值模块以及输出 选择模块。

待插值点偏移量生成与参考点选取模块用于计算待插值点与参考点的偏移 量以及用于计算当前插值所需的参考点阵列，待插值点偏移量生成与参考点选取 模块将计算出的偏移量信号送给插值系数查找表memory模块。

插值系数查找表memory模块的典型硬件实现方式为ROM或者SRAM，用 于根据偏移量得到当前待插值点所需的插值系数。

第二行存阵列模块的硬件实现方式为双口SRAM，用于缓存相邻的视频数据 行，并根据当前待插值点选取对应的参考阵列，为后续的插值处理提供必要的参 考点数据。

三种不同方式的插值模块包括基于梯度信息的改进双三次插值模块、斜向双 线性插值以及斜向双三次插值模块，三种不同方式的插值模块的输入信号为插值 系数查找表memory模块输出的插值系数和第二行存阵列模块输出的插值参考点 阵列。输出选择模块用于从三种不同方式的插值模块中选择何种方式的插值方法 对当前待插值点进行插值，选择何种方式的插值方法由边缘信息提取模块输出的 待插值点边缘信息作为控制信号进行输出选择的。