一种应用于视频帧速率上转换的插值帧生成方法

摘要

本发明涉及视频图像处理领域，特别涉及一种应用于视频帧速率上转换的插值帧生成方法，针对现有的块匹配运动估计算法或多或少都会产生一些错误的运动向量，并且局部误差可能导致插值帧质量急剧下降的问题，所提出的方法具有对运动向量的误差敏感程度低的特点，从而具有较好的鲁棒性。包括：(1)以多分辨率块匹配算法由粗及精地估计运动向量场；(2)根据可靠性准则判断运动向量的可靠性；(3)运动向量场作分辨率提升处理，对由不可靠的块分裂而成的子块作进一步的由候选向量确定初始位置、限制在较小区域内的块匹配搜索；(4)以运动补偿的形式将输入图像中的块投影到插值帧，以计数图记录插值帧中的像素与输入帧中像素的对应关系，标记那些非一一对应的像素，以多候选时间域加权滤波计算这些像素的值。

说明书

技术领域

本发明涉及视频图像处理领域，特别涉及一种应用于视频帧速率上转换的插值帧生 成方法。

背景技术

帧速率上转换是一种具有重要应用价值的视频图像处理技术，通过在时域内插出一些 新的帧来提升帧速率，从而改善显示设备显示动态画面的性能，减少由于设备的显示保持特 性(以LCD为例，其每个像素在一帧的持续时间内保持亮度不变)而引入的拖尾现象。帧速 率上转换的应用场合包括：视频格式转换，如24帧/秒的电影在25帧/秒或30帧/秒播放速率 的电视上播放；低码率视频编码，即在编码端以二分之一或更低的帧率编码，以减少网络传 输对网络带宽的需求，而在解码端，通过帧速率上转换还原成正常速率的视频；另外，在慢 速回放的应用中，帧速率上转换技术也有其用武之地。

现有的帧速率上转换算法粗略地可以划分成两大类：第一类算法不考虑运动物体帧间 运动所产生的位置偏移，简单地采用帧重复或帧平均产生新的插值帧，对于存在动态区域的 视频，这一类算法不可避免地将引入帧间抖动和运动模糊；第二类算法试图在运动轨迹上插 值每个像素，通过运动估计和邻域滤波的紧密结合，实现减少帧间抖动和运动模糊的目的。 可以预期，在大多数情况下，这一类算法具有比第一类算法更好的性能。

毋容置疑，在第二类算法中运动估计的精度将决定插值帧的质量。解码器从码流中提 取的运动向量是由编码器采用某种快速匹配算法计算所得，在计算代价的角度，这样的运动 向量由解码器直接从码流中获得，几乎不耗费额外的计算能力。然而，由于块匹配搜索以最 小化帧间冗余为目标，所以很多时候这些运动向量并不反映物体的真实运动，以这样的运动 向量构建运动轨迹将在插值帧中产生块效应和“鬼影”现象。为了获得能更好地反映物体真 实运动的运动向量，针对帧速率上转换，解码器可以采取两种策略：对从码流中提取的运动 向量作某种形式的后处理，使得运动向量场更为平滑；或者，在解码端重新估计更为准确的 运动向量。

中国专利CN201110058013.0，将待求的插值帧划分成较大的块，以双向运动估计求取 各个大块的运动向量，将每个大块分解成若干个小块，以大块的运动向量为预测值对各个小 块进行双向运动估计，得到各个小块的运动向量。文献“A Multi-Pass True Motion Estimation  Scheme With Motion Vector Propagation for Frame Rate Up-Conversion Applications”(Tai S.-C. 等，Journal of Display Technology，2008(2)：188-197)使用多遍的策略估计真实运动向 量。在最初的几遍，块尺寸被设置成32×32，在后续的搜索过程中，块尺寸逐步减小到16×16， 8×8和4×4。每一遍搜索以后，以相邻块之间的运动向量差值是否小于一个阈值，以及由此 运动向量产生的匹配误差是否足够小作为搜索是否收敛的准则，进而判断块的运动向量是否 已具有足够的精度，无需作进一步的局部搜索。文献“A Multistage Motion Vector Processing  Method for Motion-Compensated Frame Interpolation”(IEEE Trans.Image Process.，2008(5)： 694-708)在解码端以编码器估计所得的、随码流一起传送的运动向量作为输入，根据残差 值将运动向量区分为不可靠(残差较大)、可能可靠(残差不大但至少与一个不可靠的宏块相 邻)、可靠三类，合并那些相邻的不可靠的宏块，由参与合并的宏块以及与其相邻的宏块的运 动向量构成候选运动向量集合，选择那个具有最小匹配误差的作为合并块的运动向量。

运动向量场逐帧地给出了各个图像块的运动轨迹，由运动向量可将图像块以运动补偿 的形式投影到插值帧。为避免在边缘产生块间的不一致，文献“Multiple Hypotheses Bayesian  Frame Rate Up-Conversion by Adaptive Fusion of Motion-Compensated Interpolations”(IEEE  Trans.Circuits Syst.Video Technol.，2012(8)：1188-1198)以多阶段、且在不同的阶段采用 不同的块尺寸的方式估计运动向量。这种方法使用多个向量场，每个向量场对应一个运动假 设，采用多假设Bayesian估计，且在模型中同时引入了时间域和空间域的相关性约束，以最 大化后验概率的方式实现图像插值。文献“Motion-Compensated Frame Rate  Up-Conversion--Part II：New Algorithms for Frame Interpolation”(IEEE Trans.Broadcast.，2010 (2)：142-149)针对单向运动估计容易产生空洞、块重叠等，以扩大的块进行运动补偿， 且对块中的像素按其所在位置设定不同的权值。他们的方法计算两个向量场：前向运动向量 场和后向运动向量场，分别以这两个向量场通过运动补偿产生两个插值图像，以加权合并的 形式产生最后的插值图像。

需要指出的是，无论使用哪种运动估计技术和后处理修正，或多或少都会存在一些错 误的运动向量，一些局部错误也可能导致插值帧视觉质量的急剧下降。

发明内容

本发明所要解决的技术问题在于提供一种应用于视频帧速率上转换的插值帧生成方 法，该方法具有对运动向量的误差敏感程度较低，从而具有较好的鲁棒性的特点。设输入的 连续三帧为I₀、I₁和I₂，待插值的帧为I_Δt(0<Δt<1)，本发明所公开的一种应用于视频帧 速率上转换的插值帧生成方法，包括：

(1)原图像I₀和I₁作缩小处理，将低分辨率的输入图像划分成没有重叠的块，采用前 向运动估计，以块匹配算法搜索每个图像块的运动向量。

(2)将输入的未经缩小的原始图像划分成没有重叠的块，且通过设置低分辨率和原 始图像的块为合适的尺寸，使得低分辨率图像的块在X和Y方向各覆盖原始图像的两个块， 由低分辨率图像估计所得的运动向量确定初始搜索位置，以块匹配搜索算法计算原始图像各 个块的运动向量。

(3)块在X和Y方向各作一分为二的划分，评价每个运动向量的可靠性，对不可靠 的块划分而成的子块，由其四邻域中可靠的运动向量构成候选向量集，分别由这些候选向量 确定初始搜索位置，在较小的范围内搜索最佳匹配，且评价这些子块的运动向量是否可靠。

(4)采用那些可靠的运动向量，以运动补偿的形式将I₀中的块投影到插值帧。并且， 以假设运动物体在相邻帧的时间间隔内沿运动轨迹作平滑运动为基础，由参与补偿的块以及 插值帧与输入帧之间的时间差值Δt，确定插值帧中各个补偿所得块的运动向量。

(5)标记插值帧中的空洞区域和重叠区域，具体地，以计数图C记录补偿所得的图 像像素与输入图像像素的对应关系，若C(m，n)==0，则像素(i，j)不与输入帧的任一个像素 对应，属于空洞区域；若C(m，n)>1，则属于重叠区域。将空洞区域和重叠区域的像素值置 为NULL，含义为“值待确定”；计数值等于1的像素，则根据运动向量，直接从输入帧I₀复 制像素值。

(6)检测插值帧水平和垂直方向单个像素宽度的NULL像素，对这些像素采用水平 或垂直方向平均的方式计算其像素值。

(7)以窗口扫描的方式从上到下、从左到右扫描插值帧，若窗口内包含值为NULL 的像素则触发多候选时间域加权滤波处理，包括：

(7.1)设(p，q)是一个待确定值的像素，该像素所在的块为B_p，q，以B_p，q块3×3邻域 内的运动向量为候选向量构造候选向量集。

(7.2)设(v_x，v_y)是集合中的一个向量，以B_p，q所在位置为基准，(v_x，v_y)为偏移量确定 B_p，q在I₁中的对应块以为当前块，I₂为参考图像，(2v_x，2v_y)为候选向量确定初始搜 索位置，在一个较小的范围内寻找最佳匹配，记I₂中的最佳匹配块为以为当前块， I₀为参考图像，(-2v_x，-2v_y)为候选向量确定初始搜索位置，在一个较小的范围内寻找最佳匹 配，记I₀中的最佳匹配块为由此，对于每个候选向量，将产生两对匹配块：和和

(7.3)计算这些匹配块之间的匹配误差：

$D=\frac{1}{2N}\left(\underset{(m,n)\in \Lambda }{\Sigma }\right|B_{p,q}^{\left(0\right)}(m,n)-B_{p,q}^{\left(1\right)}(m,n)|+\underset{(m,n)\in \Lambda }{\Sigma }|B_{p,q}^{\left(1\right)}(m,n)-B_{p,q}^{\left(2\right)}(m,n)\left|\right)$

其中(m，n)表示图像块支撑域Λ的所有像素，N是块内的像素数目。

(7.4)B_p，q块中的像素(p，q)，由位于块对应位置的像素参与滤波计算，按下式 确定对应第r个候选向量的权值

$w\left(r\right)=\frac{S}{1+D\left(r\right)}$

其中

$S={\left(\underset{z}{\Sigma }\frac{1}{1+D\left(z\right)}\right)}^{-1}$

D(z)是第z个候选向量所产生的匹配误差，按[0018]所述计算。

(7.5)以加权和的形式计算插值帧中NULL像素的值：

$I_{\mathrm{\Delta t}}(p,q)=\underset{L}{\Sigma }w\left(r\right)g(p,q;v_x\left(r\right),v_y\left(r\right))$

其中L代表了候选向量的数目，(v_x(r)，v_y(r))是第r个候选向量，g(p，q；v_x(r)，v_y(r))是根据 该向量所得块中与待插值像素对应的像素值。

本发明的有益技术效果是：对于运动物体的边缘等容易导致不可靠运动向量的区域， 并不试图寻求一种比现有技术性能更优越的运动估计算法，而是采纳运动一致性假设，认为 这些区域的运动与其邻域块的某些部分一致，对不存在可靠运动向量的区域，以其邻域的运 动向量作为候选向量，以自适应加权滤波的形式计算其像素值，从而使得所提供的方法具有 对运动向量的误差敏感程度较低，具有较好的鲁棒性的特点。

附图说明

图1为本发明帧速率上转换具体实施方式的框图；

图2多分辨率由粗及精运动向量估计的流程图；

图3计算和范数差值SND、差值绝对值之和SAD的示意图；

图4图像块的4-邻域示意图；

图5由前向和后向运动向量判断运动向量可靠性的示意图；

图6对不可靠的块划分子块，进行运动估计的流程图；

图7两步搜索算法搜索位置示意图；

图8以运动补偿算法计算插值帧的流程图；

图9一个包含待确定像素的块，以及邻域范围内的候选向量示意图；

图10以I₁中的块为当前块，分别以I₀和I₂为参考帧搜索最佳匹配块的示意图。

具体实施方式

下面将结合附图对本发明所提供方法的具体实施方式进行说明。设输入的连续三帧为 I₀、I₁和I₂，待插值的帧为I_Δt(0<Δt<1)，图1示出了本发明具体实施方式的框图，包括 以下几个步骤。

(1)步骤101，以I₀为当前帧，I₁为参考帧，采用前向运动估计，以多分辨率块匹配 搜索算法由粗及精地估计运动向量场

(2)步骤102，根据可靠性准则，判断中每个运动向量的可靠性。

(3)步骤103，将运动向量场的分辨率提升一倍，对由不可靠的块分裂而来的子 块，作进一步的搜索处理，形成运动向量场

(4)由以运动补偿的形式将I₀中的块投影到插值帧，以计数图记录插值帧中 的像素与I₀中像素的对应关系，标记那些非一一对应的像素，以多候选时间域加权滤波计算 这些像素的值。

图2示出了以多分辨率块匹配算法由粗及精地估计运动向量场的处理框图，中的向量以前向运动估计的方式计算，其中的每个元素对应I₀中的一个图像块，以向量的形 式给出该块与其在I₁帧中的最佳匹配块之间的相对偏移。

需要帧速率上转换的视频，通常其帧速率比较低，车辆等速度较快的运动物体在视频 中表现出跳跃性。对运动估计而言，需要设定一个比较大的搜索范围才能捕捉到这种快速运 动，而搜索范围的增大将导致计算代价的上升。考虑到上述情况，本发明的一个实施例以多 分辨率块匹配算法，由粗及精地计算运动向量场。首先在一个较低的分辨率，采用连续消除 算法获得较低分辨率下每个块的运动向量，从而得到向量场其次，对原始分辨率的图 像，由的运动向量确定搜索的起始位置，采用快速块匹配算法计算运动向量场

设图像I₀和参考帧I₁的分辨率为H×W，步骤201以邻域像素平均，将原图像缩小到 相应地，在低分辨率图像中，运动物体在相邻帧的相对位移也缩小到原图像中的四 分之一。所以，本发明的一个实施例设定块大小为8×8像素，相邻块在X和Y方向的间隔 为8，两个方向的搜索范围设定为-11～+11。

步骤202以缩小以后的低分辨率图像作为输入，采用连续消除算法估计运动向量场 连续消除算法以图像块的和范数差值(sum norm difference，SND)作为部分匹配误差， 由三角不等式，其值小于等于完全匹配误差，即差值绝对值之和(sam ofabsolute difference， SAD)。由此，可排除那些SND值大于或等于当前搜索所得的最小SAD的搜索点不作进一步 的SAD计算。参照图3，C⁽⁰⁾是输入图像中一个待确定运动向量的图像块，是搜索范围 内、与C⁽⁰⁾之间的相对偏移为(dx，dy)的一个参考块。本发明的一个实施例以如下的帧差绝对 值之和SAD作为匹配准则：

$\mathrm{SAD}=\underset{m=0}{\overset{N}{\Sigma }}\underset{n=0}{\overset{N}{\Sigma }}|C^{\left(0\right)}(m,n)-R_{\mathrm{dx},\mathrm{dy}}^{\left(0\right)}(m,n)|---\left(1\right)$

其中N是块的大小。参照图3，按下式计算C⁽¹⁾和

$C^{\left(1\right)}(i,j)=\underset{m=0}{\overset{3}{\Sigma }}\underset{n=0}{\overset{3}{\Sigma }}{C}^{\left(0\right)}(4i+m,4j+n)---\left(2\right)$

$R_{\mathrm{dx},\mathrm{dy}}^{\left(1\right)}(i,j)=\underset{m=0}{\overset{3}{\Sigma }}\underset{n=0}{\overset{3}{\Sigma }}{R}_{\mathrm{dx},\mathrm{dy}}^{\left(0\right)}(4i+m,4j+n)---\left(3\right)$

其中，i，j=0，1。

对实数a和b，若a，b≥0，有如下的数学不等式成立

a-b≤|a-b|      (4)

b-a≤|a-b|       (5)

将C⁽¹⁾(i，j)和代入(4)和(5)式，并求和，容易得

$|\underset{m=0}{\overset{1}{\Sigma }}\underset{n=0}{\overset{1}{\Sigma }}{C}^{\left(1\right)}(m,n)-\underset{m=0}{\overset{1}{\Sigma }}\underset{n=0}{\overset{1}{\Sigma }}{R}_{\mathrm{dx},\mathrm{dy}}^{\left(1\right)}(m,n)|\le \underset{m=0}{\overset{1}{\Sigma }}\underset{n=1}{\overset{1}{\Sigma }}{C}^{\left(1\right)}(m,n)-R_{\mathrm{dx},\mathrm{dy}}^{\left(1\right)}(m,n)|---\left(6\right)$

注意到(6)式的右边为SAD，左边的求和项是2×2范围内像素值之和。

若已搜索获得一个当前最优匹配，其差值绝对值之和为SAD_min，一个候选块R_dxdy， 若按(6)式左边计算的和范数差值大于SAD_min，根据(6)式，对应的SAD不可能小于SAD_min， 该候选块和当前块之间无需作进一步的匹配计算。进一步地，和范数差值的计算代价远远小 于SAD计算的计算量，具体地，本发明的一个实施例以像素积分图P记录4×4范围内像素 值之和，若某个像素点(i，j)已经计算积分图，则

$P(i+1,j)=P(i,j)+\underset{m=0}{\overset{3}{\Sigma }}{I}^{\prime }(i+4,m+j)-\underset{m=0}{\overset{3}{\Sigma }}{I}^{\prime }(i,m+j)---\left(7\right)$

其中I′是由原始图像缩小而成的低分辨率图像。

估计运动向量场所需的计算代价正比于图像的尺寸，使用缩小后较低分辨率的图像能 有效地减少计算代价。虽然估计所得的运动向量的精度不及由原始图像估计所得的运动向量， 但在后续全尺寸图像的块匹配搜索中，以其确定起始位置，能极大地减少搜索范围，从而减 少搜索时间。

设由原始分辨率图像计算所得的运动向量场为步骤203将的每个运动向量 乘4复制给中的四个图像块。本发明的一个实施例设定的块大小为16×16，前述运 动向量场针对的低分辨率图像，设定的块大小为8×8，所以中单个向量对应 的图像块在X和Y方向各覆盖了原始图像的2个16×16子块。

步骤204，对于I₀的每个16×16块，若其从复制而来的运动向量(v_x，v_y)满足 v_x=v_y=0，且块内不满足静止假设的像素数目小于一个阈值，则步骤205接受该块的运动向 量为(0，0)，且判定该运动向量为可靠的运动向量，不再作进一步的搜索处理。

本发明的一个实施例以帧差δ(x，y)=|I₁(x，y)-I₀(x，y)|作为判断像素是否满足静止假 设的依据，若δ(x，y)≤T_delta，则判定像素(x，y)为静止像素，否则为动态像素。其中T_delta是一 个与图像噪声有关的阈值，可设T_delta=2.5σ，σ为估计的图像噪声标准差。

对于不满足步骤204所述条件的块，需要作运动向量求精处理。设图像块由复制 而来的运动为向量(v_x，v_y)，步骤206以此向量确定初始搜索位置，设定搜索范围为-7～+7， 采用菱形搜索算法计算该块的运动向量。

步骤207按如下的三条准则，判断由步骤206计算所得的运动向量是否可靠。

(1)空间域一致性准则：若图像块处在运动一致区域，则判定该块的运动向量是可 靠的，跳过后续(2)和(3)的判断；否则，以准则(2)作进一步的判断。参照图4，B_m，n的四邻域分别是B_m-1，n、B_m，n-1、B_m，n+1和B_m+1，n，本发明的一个实施例计算B_m，n与其四邻域运 动向量差值的最大值

Δ_max=max{|v_x(m，n)-v_x(m+i，n+j)|+|v_y(m，n)-v_y(m+i，n+j)|)     (8)

其中i，j=0，±1，且|i|≠|j|。若Δ_max≤ε，则判定B_m，n块位于运动一致区域，否则不是。ε是一 个较小的阈值，本发明的一个实施例取ε=2。

(2)前后向运动向量一致性准则：如图5所示，设I₀帧的B_m，n块(左上角坐标为(m，n)) 与其在I₁帧中的最佳匹配块之间的相对偏移为(v_x，v_y)。在I₁帧以(m+v_x，n+v_y)为左上角坐标， 取大小与B_m，n相同的图像块，寻找该块在I₀帧中的最佳匹配块，且计算两者之间的相对偏移 (u_x，u_y)。若下式成立，则(v_x，v_y)是B_m，n块的可靠的运动向量，否则该运动向量不可靠：

|v_x+u_x|+|v_y+u_y|≤T_mv    (9)

其中T_mv是一个由实验确定的阈值，本发明的一个较佳实施例建议取T_mv=2。对于未被判定为 不可靠的块，继续以准则(3)作进一步的判断。

(3)匹配误差准则：通过块匹配，I₀图像中的每个子块都能在I₁中找到一个最佳匹配 块，不可靠的运动向量所产生的匹配误差通常会大于那些可靠的块。本发明的一个较佳实施 例设定5％作为不可靠的块在所有块中所占的比例，且认为它们的匹配误差将大于其它95％ 的部分，由此确定一个关于匹配误差的阈值，若B_p，q块的匹配误差小于该阈值，则对应的运 动向量被判定为可靠，否则为不可靠。

使用(2)和(3)准则判断的某一块，若两个准则同时判定其为可靠，才作出肯定的 判断；若有一个准则判定其为不可靠，则作出否定的判断。

在中，不可靠的运动向量很大程度上是因为其对应的图像块位于运动对象的边 缘，图像数据分别来自于不同的运动目标或者背景区域。显然，将这样的图像块划分得更小， 有可能使得划分以后的子块中仅包含一个运动对象或背景区域，从而获得可靠的运动向量。 图6示出了对作分辨率提升处理的具体实施方式的处理框图。

步骤601，将中坐标为(i，j)的块在X和Y方向分别作二等分，从而产生中 坐标为{(2i+a，2j+b)|a=0，1；b=0，1)的四个子块。

步骤602，若的某块具有可靠的运动向量，则中与其对应的四个子块复制该 运动向量。

步骤603，由不可靠的块所分裂而成的子块，由其四邻域中的可靠的运动向量构成候 选向量集。

步骤604，判断上述集合是否为空。为空，则在本次迭代过程中忽略该块；否则，步 骤605由候选向量集中的向量确定初始搜索位置，使用两步搜索算法搜索最佳匹配，且判断 搜索结果是否可靠。设(3，4)是候选运动向量集中的一个向量，图7示出了第一步和第二步的 搜索位置，其中第一步搜索三角形标记的9个位置，若右侧位置的点为最小匹配误差对应的 点，则第二步搜索正方形标记的8个点。

步骤606，若循环次数达到预设值或本次循环估计所得的可靠运动向量数目少于某个 阈值，则结束整个流程，否则转603继续循环。

参见图1，步骤104以运动补偿的方式，根据运动向量场作运动补偿插值和后 续的处理，具体地，图8示出了实施流程。

步骤801根据运动向量场中那些可靠的运动向量，及插值帧I_Δt和I₀之间的时间 间隔，将I₀的各个图像块投影到插值帧。由运动补偿所得的图像，分别存在三种类型的 像素：与I₀图像的一个像素对应、与I₀的多个像素对应、不与I₀的任一个像素对应。本发明 的一个实施例以计数图C记录这三种对应关系。

针对上述三类像素分别处理，具体为：

(1)若C(m，n)==1，则步骤802按下式赋值，

I_Δt(m，n)=I₀(m-v_xΔt，n-v_yΔt)    (10)

其中(v_x，v_y)是运动向量场中穿过插值帧I_Δt的(m，n)像素的运动向量；

(2)不符合条件(1)的像素标记为NULL，含义为“其值待确定”。

步骤803，在水平和垂直方向检测单个像素宽度的NULL区域，具体地，判断下式是 否成立：

I_Δt(m，n)==NULL and I_Δt(m-1，n)≠NULL and I_Δt(m+1，n)≠NULL    (11) 若成立，则计算：

$I_{\mathrm{\Delta t}}(m,n)=\frac{I_{\mathrm{\Delta t}}(m-1,n)+I_{\mathrm{\Delta t}}(m+1,n)}{2}---\left(12\right)$

否则，继续判断下式是否成立：

I_Δt(n，n)==NULL and I_Δt(m，n-1)≠NULL and I_Δt(m，n+1)≠NULL   (13) 是，则计算：

$I_{\mathrm{\Delta t}}(m,n)=\frac{I_{\mathrm{\Delta t}}(m,n-1)+I_{\mathrm{\Delta t}}(m,n+1)}{2}---\left(14\right)$

否则，保持I_Δt(m，n)原值为NULL。

设定扫描窗口的大小S_w×S_w略小于运动向量场所对应的窗口大小，设定用于块匹 配计算的块尺寸为(S_w+2b)×(S_w+2b)，即在上、下、左、右相对于搜索窗口各扩展b个像素 (本发明的一个实施例取b=2)。步骤804，以块扫描的形式检测I_Δt，若扫描窗口内存在值 为NULL的像素，则触发多候选时间域加权滤波处理。

参照图9，虚线标示为S_w×S_w的扫描块，设(p，q)是一个待确定值的像素，该像素所 在的块为B_p，q，以B_p，q块3×3邻域内的运动向量为候选向量构造候选向量集，实线所示的块 为由运动补偿投影而来的块，所示箭头示意了运动向量。

步骤805，参照图10，设(v_x，v_y)是集合中的一个向量，以B_p，q所在位置为基准，(v_x，v_y) 为偏移量确定B_p，q在I₁中的对应块以为当前块，I₂为参考图像，(2v_x，2v_y)为候选向 量确定初始搜索位置，在一个较小的范围内寻找最佳匹配，记I₂中的最佳匹配块为以 为当前块，I₀为参考图像，(-2v_x，-2v_y)为候选向量确定初始搜索位置，在一个较小的范 围内寻找最佳匹配，记I₀中的最佳匹配块为由此，对于每个候选向量，将产生两对匹 配块：和和

步骤806，计算上述匹配块之间的匹配误差为：

$D=\frac{1}{2N}\left(\underset{(m,n)\in \Lambda }{\Sigma }\right|B_{p,q}^{\left(0\right)}(m,n)-B_{p,q}^{\left(1\right)}(m,n)|+\underset{(m,n)\in \Lambda }{\Sigma }|B_{p,q}^{\left(1\right)}(m,n)-B_{p,q}^{\left(2\right)}(m,n)\left|\right)---\left(15\right)$

其中(m，n)表示图像块支撑域Λ的所有像素，N是块内的像素数目。

B_p，q块中值为NULL的像素(p，q)，由位于块中对应位置的像素参与滤波计算， 按下式确定对应第r个候选向量的权值

$w\left(r\right)=\frac{S}{1+D\left(r\right)}---\left(16\right)$

其中

$S={\left(\underset{z}{\Sigma }\frac{1}{1+D\left(z\right)}\right)}^{-1}---\left(17\right)$

D(z)是第z个候选向量所产生的匹配误差，按式(15)计算。

以加权和的形式计算插值帧中NULL像素的值：

$I_{\mathrm{\Delta t}}(p,q)=\underset{L}{\Sigma }w\left(r\right)g(p,q;v_x\left(r\right),v_y\left(r\right))---\left(18\right)$

其中L代表候选向量的数目，(v_x(r)，v_y(r))是第r个候选向量，g(p，q；v_x(r)，v_y(r))是根据该 向量确定的块中与待插值像素对应的像素值。

以上所述仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，凡在本发明 的精神和原则之内，所做的任何修改或替换等，都应涵盖在本发明的保护范围内。