首页> 中国专利> 一种基于时域演变的双向运动估算方法

一种基于时域演变的双向运动估算方法

摘要

本发明提出了一种基于时域演变的双向运动估算方法,其包括如下步骤:输入视频序列,并将视频序列中的当前帧进行图像块划分;将每个图像块分别沿着第一运动方向和第二运动方向进行基于时域演变近似;计算每个图像块沿着第一运动方向和第二运动方向基于时域演变近似的差异以获得基准候选位置;根据基准候选位置沿着第一运动方向和第二运动方向的基于时域演变近似的差异计算当前帧中重叠块运动补偿的权值,并对当前图像块进行基于时域演变的重叠块运动补偿。本发明的基于时域演变的双向运动估算方法,在不增加计算复杂度的前提下,通过基于时域演变的双向运动估计和双向运动补偿算法,提高了双向运动估计的精度,进而提高视频视觉质量。

著录项

  • 公开/公告号CN103096082A

    专利类型发明专利

  • 公开/公告日2013-05-08

    原文格式PDF

  • 申请/专利权人 清华大学;清华大学深圳研究生院;

    申请/专利号CN201310023742.1

  • 发明设计人 戴琼海;张永兵;

    申请日2013-01-22

  • 分类号

  • 代理机构北京清亦华知识产权代理事务所(普通合伙);

  • 代理人张大威

  • 地址 100084 北京市海淀区100084-82信箱

  • 入库时间 2024-02-19 19:28:57

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2016-12-28

    授权

    授权

  • 2013-06-12

    实质审查的生效 IPC(主分类):H04N7/26 申请日:20130122

    实质审查的生效

  • 2013-05-08

    公开

    公开

说明书

技术领域

本发明涉及视频处理技术领域,特别涉及一种基于时域演变的双向运 动估算方法。

背景技术

近年来,随着先进的电视和多媒体技术的飞速发展,人们对高质量视 频的需求显得愈发迫切。双向运动估计是提高视频视觉质量的有效技术, 在视频处理中有着广泛的应用,如帧率提升、错误隐藏等。

现有的双向运动估计方法是假设相邻帧之间沿运动轨迹方向图像像素 值保持不变,这种方法没有考虑图像亮度渐变、图像采集过程中的噪声等 影响,因此,双向运动估计的精度较低。

发明内容

本发明的目的旨在至少解决现有技术中存在的技术问题。

为此,本发明的目的在于针对连续视频帧邻近帧之间的连续、渐变以 及平稳特性而提出了一种基于时域演变的双向运动估算方法,该方法在不 增加计算复杂度的前提下,提高了双向运动估计的精度,进而提高视频视 觉质量。

为达到上述目的,本发明提出的一种基于时域演变的双向运动估算方 法包括如下步骤:输入视频序列,并将所述视频序列中的当前帧进行图像 块划分;将每个图像块分别沿着第一运动方向和第二运动方向进行基于时 域演变近似;计算所述每个图像块沿着所述第一运动方向和所述第二运动 方向基于时域演变近似的差异以获得基准候选位置;根据所述基准候选位 置沿着所述第一运动方向和所述第二运动方向的基于时域演变近似的差异 计算所述当前帧中重叠块运动补偿的权值,并对当前图像块进行基于时域 演变的重叠块运动补偿。

根据本发明的基于时域演变的双向运动估算方法,针对连续视频帧邻 近帧之间的连续、渐变以及平稳特性,在不增加计算复杂度的前提下,采 用基于时域演变的双向运动估计和双向运动补偿,提高了双向运动估计的 精度,进而提高视频视觉质量。

在本发明的一个实施例中,所述第一运动方向可以为前向运动轨迹的 方向,所述第二方向可以为后向运动轨迹的方向。

在本发明的一个实施例中,所述每个图像块中的任意一个图像块Bx,y通 过以下公式沿着所述前向运动轨迹的方向进行基于时域演变近似:

I(p,t)=If=I(p+v,tf)+I'(p+v,tf)1!*(t-tf)+I'(p+v,tf)2!*(t-tf)2+..+In(p+v,tf)/n!*(t-tf)n+o((t-tf)n)

其中,p为所述任意一个图像块Bx,y中任意一位置,t和tf分别为当前 时刻和前向时刻,v为运动轨迹。

在本发明的一个实施例中,所述每个图像块中的任意一个图像块Bx,y通 过以下公式沿着所述后向运动轨迹的方向进行基于时域演变近似:

I(p,t)=Ib=I(p-v,tb)+I'(p-v,tb)/1!*(t-tb)+I'(p-v,tb)/2!*(t-tb)2+..+In(p-v,tb)/n!*(t-tb)n+o((t-tb)n)

其中,p为所述任意一个图像块Bx,y中任意一位置,t和tb分别为当前时 刻和后向时刻,v为运动轨迹。

在本发明的一个实施例中,根据以下公式计算所述任意一个图像块Bx,y沿着所述前向运动轨迹的方向和所述后向运动轨迹的方向基于时域演变近 似的差异:

SBAD_TE[Bx,y,v]=ΣpBx,y|If-Ib|

=ΣpBx,y|I(p+v,tf)-I(p-v,tb)+I(p+v,tf)/1!*(t-tf)-I(p-v,tb)/1!*(t-tb)+I(p+v,tf)/2!*(t-tf)2-I(p-v,tb)/2!*(t-tb)2+..+In(p+v,tf)/n!*(t-tf)n-In(p-v,tb)/n!*(t-tb)n|.

在本发明的一个实施例中,根据以下公式计算基准候选位置:

vx,y=argminv{SBAD[Bx,y,v]}

=argminv{ΣpBx,y|I(p+v,tf)-I(p-v,tb)|}.

在本发明的一个实施例中,根据以下公式对当前图像块进行基于时域 演变的重叠块运动补偿:

I^(p,t)=12Σi=01Σj=01wi,j(p)[I(p+vx+i,y+j,tf)+I(p-vx+i,y+j,tb)]

其中,Σi=01Σj=01wi,j(p)=1,wi,j=1/σ2(ϵij(p))Σm=01Σn=011/σ2(ϵmn(p)),

ϵij(p)=1|Bx,y|ΣpBx,yI(p+vx+i,y+j,tf)-I(p-vx+i,y+j,tb)+I(p+vx+i,y+j,tf)1!*(t+tf)-I(p-vx+i,y+j,tb)/1!*(t-tb)+I(p+vx+i,y+j,tf)2/!*(t-tf)2-I(p-vx+i,y+j,tb)/2!*(t-tb)2+..+In(p+vx+i,y+j,tf)/n!*(t-tf)n-In(p-vx+i,y+j,tb)/n!*(t-tb)n2.

本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面 的描述中变得明显,或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描 述中将变得明显和容易理解,其中:

图1为根据本发明实施例的基于时域演变的双向运动估算方法的流程 图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其 中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功 能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发 明,而不能解释为对本发明的限制。

下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结 构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。 当然,它们仅仅为示例,并且目的不在于限制本发明。此外,本发明可以 在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目 的,其本身不指示所讨论各种实施例和/或设置之间的关系。此外,本发明 提供了的各种特定的工艺和材料的例子,但是本领域普通技术人员可以意 识到其他工艺的可应用于性和/或其他材料的使用。另外,以下描述的第一 特征在第二特征之“上”的结构可以包括第一和第二特征形成为直接接触 的实施例,也可以包括另外的特征形成在第一和第二特征之间的实施例, 这样第一和第二特征可能不是直接接触。

在本发明的描述中,需要说明的是,除非另有规定和限定,术语“安 装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连 接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒 介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上 述术语的具体含义。

参照下面的描述和附图,将清楚本发明的实施例的这些和其他方面。 在这些描述和附图中,具体公开了本发明的实施例中的一些特定实施方式, 来表示实施本发明的实施例的原理的一些方式,但是应当理解,本发明的 实施例的范围不受此限制。相反,本发明的实施例包括落入所附加权利要 求书的精神和内涵范围内的所有变化、修改和等同物。

下面参照附图对本发明实施例提出的基于时域演变的双向运动估算方 法进行描述。

如图1所示,本发明一个实施例提出的基于时域演变的双向运动估算 方法包括如下步骤:

步骤S101,输入视频序列,并将视频序列中的当前帧进行图像块划分。

在本发明的一个具体示例中,可以将视频序列中的当前帧划分成不重 叠的图像块,其中,图像块可以为任意大小。

步骤S102,将每个图像块分别沿着第一运动方向和第二运动方向进行 基于时域演变近似。

在本发明的一个实施例中,第一运动方向为前向运动轨迹的方向,第 二方向为后向运动轨迹的方向。具体而言,在执行完步骤S101之后,将每 个图像块分别沿着前向运动轨迹方向和后向运动轨迹方向进行基于时域演 变近似。

在本发明的一个具体示例中,每个图像块中的任意一个图像块Bx,y通过 以下公式沿着前向运动轨迹的方向进行基于时域演变近似:

I(p,t)=If=I(p+v,tf)+I'(p+v,tf)1!*(t-tf)+I'(p+v,tf)2!*(t-tf)2+..+In(p+v,tf)/n!*(t-tf)n+o((t-tf)n)

其中,p为任意一个图像块Bx,y中任意一位置,t和tf分别为当前时刻 和前向时刻,v为运动轨迹。

类似地,每个图像块中的任意一个图像块Bx,y通过以下公式沿着后向运 动轨迹的方向进行基于时域演变近似:

I(p,t)=Ib=I(p-v,tb)+I'(p-v,tb)/1!*(t-tb)+I'(p-v,tb)/2!*(t-tb)2+..+In(p-v,tb)/n!*(t-tb)n+o((t-tb)n)

其中,p为任意一个图像块Bx,y中任意一位置,t和tb分别为当前时刻和 后向时刻,v为运动轨迹。

步骤S103,计算每个图像块沿着第一运动方向和第二运动方向基于时 域演变近似的差异以获得基准候选位置。

具体而言,在执行完步骤S102之后,计算每个图像块沿着前向运动轨 迹的方向和后向运动轨迹的方向基于时域演变近似的差异以获得基准候选 位置。

在本发明的一个具体示例中,根据以下公式计算任意一个图像块Bx,y沿 着前向运动轨迹的方向和后向运动轨迹的方向基于时域演变近似的差异:

SBAD_TE[Bx,y,v]=ΣpBx,y|If-Ib|

=ΣpBx,y|I(p+v,tf)-I(p-v,tb)+I(p+v,tf)/1!*(t-tf)-I(p-v,tb)/1!*(t-tb)+I(p+v,tf)/2!*(t-tf)2-I(p-v,tb)/2!*(t-tb)2+..+In(p+v,tf)/n!*(t-tf)n-In(p-v,tb)/n!*(t-tb)n|.

其中,根据以下公式计算基准候选位置:

vx,y=argminv{SBAD[Bx,y,v]}

=argminv{ΣpBx,y|I(p+v,tf)-I(p-v,tb)|}.

步骤S104,根据基准候选位置沿着第一运动方向和第二运动方向的基 于时域演变近似的差异计算当前帧中重叠块运动补偿的权值,并对当前图 像块进行基于时域演变的重叠块运动补偿。

具体而言,在执行完步骤S103之后,根据基准候选位置沿着前向运动 轨迹的方向和后向运动轨迹的方向的基于时域演变近似的差异计算当前帧 中重叠块运动补偿的权值,并对当前图像块进行基于时域演变的重叠块运 动补偿。

在本发明的一个具体示例中,根据以下公式对当前图像块进行基于时 域演变的重叠块运动补偿:

I^(p,t)=12Σi=01Σj=01wi,j(p)[I(p+vx+i,y+j,tf)+I(p-vx+i,y+j,tb)]

其中,Σi=01Σj=01wi,j(p)=1,wi,j=1/σ2(ϵij(p))Σm=01Σn=011/σ2(ϵmn(p)),

ϵij(p)=1|Bx,y|ΣpBx,yI(p+vx+i,y+j,tf)-I(p-vx+i,y+j,tb)+I(p+vx+i,y+j,tf)1!*(t+tf)-I(p-vx+i,y+j,tb)/1!*(t-tb)+I(p+vx+i,y+j,tf)2/!*(t-tf)2-I(p-vx+i,y+j,tb)/2!*(t-tb)2+..+In(p+vx+i,y+j,tf)/n!*(t-tf)n-In(p-vx+i,y+j,tb)/n!*(t-tb)n2.

下面以具体示例对本发明的基于时域演变的双向运动估算方法进行描 述。

本发明的基于时域演变的双向运动估算方法的具体步骤为:首先输入 视频序列,对图像进行块划分,将当前帧划分成任意大小的不重叠的块, 其次将当前帧内每一个图像块分别沿着前向运动轨迹方向和后向运动轨迹 方向进行基于时域演变的近似,在本示例中,根据连续视频邻近帧之间的 平滑特性,对当前帧内任意一个图像块Bx,y沿着前向运动轨迹进行泰勒展开 以得到沿着前向运动轨迹的方向基于时域演变的近似为:

I(p,t)=If=I(p+v,tf)+I'(p+v,tf)1!*(t-tf)+I'(p+v,tf)2!*(t-tf)2+..+In(p+v,tf)/n!*(t-tf)n+o((t-tf)n)

其中,p为任意一个图像块Bx,y中任意一位置,t和tf分别为当前时刻 和前向时刻,v为运动轨迹。

类似地,对当前帧的任意一个图像块Bx,y沿着后向运动轨迹进行泰勒展 开以得到沿着后向运动轨迹的方向基于时域演变的近似为:

I(p,t)=Ib=I(p-v,tb)+I'(p-v,tb)/1!*(t-tb)+I'(p-v,tb)/2!*(t-tb)2+..+In(p-v,tb)/n!*(t-tb)n+o((t-tb)n)

其中,p为任意一个图像块Bx,y中任意一位置,t和tb分别为当前时刻和 后向时刻,v为运动轨迹。

然后计算每个图像块沿着前向运动轨迹的方向和后向运动轨迹的方向 基于时域演变近似的差异以获得基准候选位置。具体地,在执行完基于时 域演变近似之后进行基于时域演变的图像块匹配,在图像块匹配过程中, 对所有的候选位置,包括整像素精度和分像素精度,计算前后运动轨迹的 方向基于时域演变近似的差异,即:

SBAD_TE[Bx,y,v]=ΣpBx,y|If-Ib|

=ΣpBx,y|I(p+v,tf)-I(p-v,tb)+I(p+v,tf)/1!*(t-tf)-I(p-v,tb)/1!*(t-tb)+I(p+v,tf)/2!*(t-tf)2-I(p-v,tb)/2!*(t-tb)2+..+In(p+v,tf)/n!*(t-tf)n-In(p-v,tb)/n!*(t-tb)n|.

从所有的候选位置中,选择SBAD_TE[Bx,y,v]最小的作为基准候选位置, 即:

vx,y=argminv{SBAD[Bx,y,v]}

=argminv{ΣpBx,y|I(p+v,tf)-I(p-v,tb)|}.

最后根据基准候选位置沿着前向运动轨迹的方向和后向运动轨迹的方 向的基于时域演变近似的差异计算当前帧中重叠块运动补偿的权值,并对 当前图像块进行基于时域演变的重叠块运动补偿。具体地,根据基准候选 位置沿着前向运动轨迹的方向和后向运动轨迹的方向进行泰勒展开的差异 以得到基于时域演变近似的差异来计算当前帧中重叠块运动补偿的权值, 预测当前块。具体地,根据当前图像块及周围邻近图像块的运动轨迹对当 前图像块进行基于时域演变的重叠块运动补偿,以对当前图像块进行运动 补偿,完成对当前图像块的插值。在本示例中,根据以下公式对当前图像 块进行基于时域演变的重叠块运动补偿:

I^(p,t)=12Σi=01Σj=01wi,j(p)[I(p+vx+i,y+j,tf)+I(p-vx+i,y+j,tb)]

其中,Σi=01Σj=01wi,j(p)=1,wi,j=1/σ2(ϵij(p))Σm=01Σn=011/σ2(ϵmn(p)),

ϵij(p)=1|Bx,y|ΣpBx,yI(p+vx+i,y+j,tf)-I(p-vx+i,y+j,tb)+I(p+vx+i,y+j,tf)1!*(t+tf)-I(p-vx+i,y+j,tb)/1!*(t-tb)+I(p+vx+i,y+j,tf)2/!*(t-tf)2-I(p-vx+i,y+j,tb)/2!*(t-tb)2+..+In(p+vx+i,y+j,tf)/n!*(t-tf)n-In(p-vx+i,y+j,tb)/n!*(t-tb)n2.

根据本发明的基于时域演变的双向运动估算方法,针对连续视频帧邻 近帧之间的连续、渐变以及平稳特性,在不增加计算复杂度的前提下,采 用基于时域演变的双向运动估计和双向运动补偿,提高了双向运动估计的 精度,进而提高视频视觉质量。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解 为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行 指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括 另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能 按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例 所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以 被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任 何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的 系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令 并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。 就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、 传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、 装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列 表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计 算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM), 可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携 式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其 上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介 质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理 来以电子方式获得所述程序,然后将其存储在计算机存储器中。

应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来 实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合 适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现, 和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们 的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻 辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列 (PGA),现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部 或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储 于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤 之一或其组合。

此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块 中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在 一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软 件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现 并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介 质中。

上述提到的存储介质可以是只读存储器,磁盘或光盘等。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或 示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施 例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同 的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任 何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员 而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例 进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等 同限定。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号