一种视频解码器亮度色度分离模块中运动检测方法及装置

摘要

本发明公开了一种复合视频解码器亮度色度分离模块中运动检测方法和实现其方法的装置，该运动检测装置与时空自适应亮色分离相结合，将运动检测的4场数据从帧存储器中读出，结合实时信号所在场利用5场信号进行运动检测。空间相关性检测模块检测出待测像素点的垂直相关性。根据二值化空间相关性检测结果动态选择运动检测模块，求出模块的加权平均差值，根据该差值与运动检测阈值的关系判断运动情况。同时利用时间相关性检测模块检测待测像素点的时间相关性，生成二值化的时间相关性检测结果。将该结果与空间相关性检测结果及像素点构成新的数据结构，提升视频信号处理能力。

说明书

技术领域

本发明属于数字视频图像处理与显示技术领域，具体涉及一种复合视频信号解码器亮度色度分离模块中运动检测方法及装置。

背景技术

复合视频信号亮度色度分离的方法主要分为利用空间相关性(场内亮度色度分离)和利用时间相关性(场间亮度色度分离)两种分离方法。前者会损失图像的高频信息，主观上观测会丢失图像的细节部分；后者不会造成图像高频信息的丢失，但是如果使用不恰当，会造成运动图像的拖尾和虚影。

发明内容

针对现有技术中存在的造成运动图像的拖尾和虚影的技术问题，本发明根据视频信号的空间和时间相关特性及模块化特征，提出一种视频解码器亮度色度分离模块中运动检测方法，获得更加准确的运动检测结果，同时也提供一种实现上述运动检测方法的装置。

本发明利用图像的时间空间相关特征：空间中，像素点可以按照其与周围像素点的相关性归划不同的模块；时间上，空间中相关性较强的模块按照相同规律运动或者保持静止；对于突然变化的内容，特别是变化频率接近场频的视频，或者运动规律不断变化的视频，像素点对前、后场的相关性也有差异。利用像素点的时间和空间相关性，获得了准确的运动检测结果。从而为亮度色度分离模块选择正确的选择分离方法，获得更优的图像质量。

为了实现上述目的，本发明采取如下的技术解决方案：

一种视频解码器亮度色度分离模块中运动检测方法，进行像素点的空间相关性检测，生成二值化的空间相关性检测结果，根据像素点的空间相关性动态选择运动检测模块，将模块的加权平均差值与阈值比较进行运动检测，同时，进行时间相关性检测，检测像素点与前后场对应像素点的相关性，生成二值化的时间相关性检测结果，从而确定该像素点的运动检测情况，并将二值化的空间相关性检测结果和时间相关性检测结果及像素点构成新的像素数据结构。

一种实现视频解码器亮度色度分离模块中运动检测方法的装置，该装置包括：

一帧存储器，保存运动检测和场间亮色分离用到的视频数据；

一空间相关性检测模块，包括高精度陷波器，差值求取单元和比较器，用于实现像素点的空间相关性检测，并为运动检测模块选取提供参考；

陷波器分别作用于场内待检测像素点和同列的上、下相关像素点，相关像素点的选取与复合视频信号的制式有关，对于NTSC制信号，相关像素点选择同列相临行的两像素点，而对于PAL制信号，选择同列上下各相隔一行的两像素点；

差值求取单元求取待测像素点与相关像素点的亮度差值；

比较器将之前求得的亮度差值同空间相关性检测阈值进行比较，生成二值化的比较结果，如用1表示差值小于阈值，即相关性好，用0表示差值小于阈值，即相关性不好，产生2位宽的标志位记录待测像素点与相关上、下像素点的相关性信息，该结果作为运动检测及后续去隔行、缩放处理的重要参考；

一场内自适应亮度色度分离模块，根据空间相关性检测的结果完成场内自适应的亮度色度分离；

一运动检测模块动态选取单元，根据二值化的空间相关性检测结果动态的选择运动检测模块，结合复合视频信号中色度信号的相位关系，在连续的几场内动态的选取相关像素点构成运动检测模块；

一运动检测模块，它包括差值求取单元，比较器和中值滤波器；

差值求取单元在运动检测模块内部求取加权平均差值，该差值是将对应像素点的亮度色度综合值作差，并加权求和得到；

比较器将加权平均差值与运动检测阈值比较，利用比较结果判断像素点的运动情况；

中值滤波器对运动检测结果进行中值滤波处理，根据图像的模块化特征，经中值滤波处理后运动检测结果的可以减少噪声引起的误判，进一步提高运动检测精度；

一时间相关性检测模块，它包括亮度求取模块动态选取单元，亮度求取单元，亮度差值求取单元和比较器；

亮度求取动态模块选取单元根据二值化的空间相关性检测结果，对于像素点和时间相关的像素点动态的选择合适的场内亮度色度分离方案，在亮度求取单元中求得像素点和时间相关的像素点的亮度值：

1.对于空间中上下相关性都很好的像素点选择垂直方向的上、下相关点和该像素点3点，综合2个3行场内亮色分离方案求取该像素点的亮度值，图4所示，K1＝0.5，K2＝0.5，K3＝0；

2.对于空间中上相关性好的像素点选择垂直方向的上相关点和该像素点2点，利用3行场内亮色分离方案求取该像素点的亮度值；

3.对于空间中下相关性好的像素点选择垂直方向的下相关点和该像素点2点，利用3行场内亮色分离方案求取该像素点的亮度值；

4.对于空间中上、下相关性均不好的像素点选择水平方向的行内亮色分离，求取该像素点的亮度值；

亮度差值求取单元将像素点和时间相关的像素点的亮度值作差；比较器将该差值分别与时间相关性检测阈值进行比较，生成二值化的检测结果，并将检测结果用2位存储，表示像素点在时间上的相关性；

将二值化的空间相关性检测结果和二值化的时间相关性检测结果综合起来表示像素点的时空相关性，与像素点构成新的数据结构，为后续处理模块提供重要参考，综合提高视频处理能力。

一场间自适应亮度色度分离模块，根据时间相关性检测的结果完成场间自适应的亮度色度分离；

本发明的特点是充分考虑了视频信号中像素点的模块化特征，并结合复合视频信号中色度信号的相位性质，综合利用像素点的时间空间相关性动态选取运动检测模块和时间相关性检测模块进行相应检测，因而取得了较高精度的检测结果；另外在硬件实现上可以同3D自适应亮度色度分离模块共享场存储器，因而不需要增加额外的硬件成本，同时时空相关性检测结果也可为自适应亮色分离提供参考。

与已有技术相比，本发明的技术效果体现在：

1.考虑到像素点的模块化特征和复合视频信号中色度信号的相位性质，动态选择运动检测模块和时间相关性检测模块，；

2.空间相关性检测比较陷波器求得的亮度值，陷波器原理简单易于实现，并且可以获得很高的亮度水平解析度，比较适合进行垂直方向的空间相关性检测，保证较高的精度；

3.运动检测和时间相关性检测都充分利用空间相关性的检测结果，实现了像素点模块化和基于时空相关性动态处理的目标；

4.运动检测结果经过中值滤波器处理，可以减少噪声引起的误判，提高了运动检测的精度；

5.将运动检测模块和时间相关性检测模块的加权平均差值同各阈值比较，通过权值选取得到了较高的精度；

6.生成二值化的空间相关性和时间相关性检测结果，并与像素点构成新的数据结构，为视频信号的后续处理提供参考；

7.通过与三维自适应复合视频信号解码器的亮色分离结合，该方法不需要增加额外的硬件成本。

本发明技术方案中提出了一种场内和场间自适应亮度色度分离处理的方法，该方法根据运动检测结果区分运动和静止像素点，对运动和静止像素点采用不同的处理方法，从而达到更高的分辨率和更加流畅的图像质量，该方法关键是基于准确的运动检测，如果判断不准确会严重影响复合视频信号的解码质量。该运动检测算法不仅适用于一般场景的复合视频信号，而且对频谱复杂的复合视频信号也可以取得较高的精度。首先，在场内进行的场内相关性(即空间相关性)检测并记录检测结果；其次，根据空间相关性检测结果在场间相关像素点间动态选择运动检测模块，然后将运动检测中相关像素点间的加权平均差值同阈值比较，进而判断像素点运动情况；再次，根据场内相关性检测结果进行场间相关性(即时间相关性)检测并记录时间相关性的检测结果。并将空间和时间相关性检测结果与像素点构成新的数据结构，为视频后处理中的视频缩放，去隔行(主要用到空间相关性结果)和场频提升(主要用到时间相关性结果)提供参考信息。

附图说明

图1为PAL制中相关像素点色度信号的相位关系；

图2为NTSC制中相关像素点色度信号的相位关系；

图3为像素点的空间相关性示意图；

图4为空间相关性检测和场内自适应亮度色度分离模块示意图；

图5为像素点的时间相关性示意图；

图6为运动检测动态模块示意图(1)；

图7为运动检测动态模块示意图(2)；

图8为运动检测动态模块示意图(3)；

图9为运动检测动态模块示意图(4)；

图10为中值滤波器形状示意图；

图11为时间相关性检测和场间自适应亮度色度分离示意图；

图12为本发明视频信号数据结构；

图13运动检测模块结构图；

具体实施方式

以下结合附图对本发明作进一步的详细说明。

一种视频解码器亮度色度分离模块中运动检测方法，进行像素点的空间相关性检测，生成二值化的空间相关性检测结果，根据像素点的空间相关性动态选择运动检测模块，将模块的加权平均差值与阈值比较进行运动检测。同时，进行时间相关性检测，检测像素点与前后场对应像素点的相关性，生成二值化的时间相关性检测结果，从而确定该像素点的运动检测情况，并将二值化的空间相关性检测结果和时间相关性检测结果及像素点构成新的像素数据结构，为后序处理提供依据。

一种实现视频解码器亮度色度分离模块中运动检测的装置，该装置包括：

一帧存储器用来保存运动检测和场间亮色分离用到的视频数据；

一空间相关性检测模块，该模块利用陷波器对像素点和其垂直相关像素点依次求取亮度值，计算亮度差值并与空间相关性检测阈值相比较，得到像素点的空间相关性，该相关性检测结果可以为场内自适应亮色分离提供动态权值，同时生成的二值化检测结果为之后的运动检测，时间相关性检测等的提供判断依据；

一运动检测模块，该模块利用空间相关性检测结果动态选择运动检测模块，在模块中求取加权平均差值，将差值与运动检测阈值比较，得出像素点的运动情况，将检测结果经过中值滤波器，减少误判，提高检测精度；

一时间相关性检测模块，根据二值化的空间相关性检测结果，动态选择场内亮色分离方案，依次求得待测像素点和时间上前后对应场像素点的亮度值，计算亮度差值并与时间相关性检测阈值比较可以得出像素点的时间相关性，并生成二值化的时间相关性检测结果；

所述的空间相关性检测模块的工作步骤为：

首先完成场内自适应亮色分离，然后利用陷波器先对垂直相关像素点分别求取亮度值，接着将像素点的亮度值与上下两相关像素点的亮度值分别作差，将差值分别同空间相关性检测阈值比较，根据比较结果，一方面生成二值化的空间相关性检测结果[Pre2_line，Next2_line]，分别表示了D1-D4四类像素点的空间相关性(Pre2_line表示与上部点的相关性，Next2_line表示与下部点的相关性，1表示差值小于阈值，相关性好；0表示相关性不好)；另一方面为场内自适应亮色分离各分离方案生成动态权值，将加权平均值作为场内自适应亮色分离最终结果。

所述的运动检测动态模块的选择方式为：

经过空间相关性的检测，将相点划分为4类，分别用[Pre2_line，Next2_line]＝00，10，01，11表示，对应于D1-D4类点，对于4类检测结果选取对应的运动检测模块。

所述的运动检测模块的具体实现为：

在进行PAL制式下O_n，i，j点运动检测时依次采用如下的公式分别求出动态模块的加权平均差值，以d表示：

当[Pre2_line，Next2_line]＝[00]时，

d＝abs(O_n-2，i，j-O_n+2，i，j)

当[Pre2_line，Next2_line]＝[10]时，

d＝0.7·abs(O_n-2，i，j-O_n+2，i，j)+0.15·abs(O_n-1，i，j-O_{n+1，i-2，j})+0.15·abs(O_{n-1，i-2，j}-O_n+1，i，j)

当[Pre2_line，Next2_line]＝[01]时，

d＝0.7·abs(O_n-2，i，j-O_n+2，i，j)+0.15·abs(O_n-1，i，j-O_{n+1，i+2，j})+0.15·abs(O_{n-1，i+2，j}-O_n+1，i，j)

当[Pre2_line，Next2_1ine]＝[11]时，

d＝0.6·abs(O_n-2，i，j-O_n+2，i，j)+0.2·abs(O_{n-1，i-1，j}-O_{n+1，i+1，j})+0.2·abs(O_{n-1，i+1，j}-O_{n+1，i-1，j})

将加权平均差值与运动检测阈值比较，如果大于阈值则认为该像素点运动，否则认为它静止。

所述的对运动检测结果进行中值滤波的滤波器的具体实现为：

将检测结果经过中值滤波器处理，中值滤波器选择利用了像素点的空间相关性，提高检测精度，减少误判的概率。

所述的空间相关性检测模块的具体实现为：

它包括亮度求取动态模块选取单元，亮度求取单元，亮度差值求取单元和比较器；

动态模块选取单元根据二值化的空间相关性检测结果，对于像素点和时间轴上的相应像素点选择合适的场内亮度求取单元组成动态模块，在模块内利用帧内亮色分离方案求取亮度值，同时根据电视的制式对时间上相关的前后两场中的相同空间坐标像素点选择相同的动态模块；

亮度求取单元根据选择的动态模块，在模块内使用合适的场内亮色分离方案求取亮度值，同时对相关场的对应模块利用相同的亮色分离方案求取亮度值；

亮度差值求取单元将像素点对应的亮度求取动态模块得到的亮度值和时间上相关像素点得到的亮度值分别作差；

比较器将该差值分别与空间相关性检测阈值进行比较，生成二值化的检测结果，并将检测结果用2bit存储，表示像素点在时间上的相关性；

所述的新的像素的数据结构具体实现为：

将空间相关性检测结果[Pre2_line，Next2_line]，时间相关性检测结果[Pre2_Frame，Next2_Frame]和数字化的像素点值(可以是RGB，YUV等格式)结合起来可以构成新的视频信号数据结构。

参见图1所示为PAL制50Hz隔行复合视频信号中像素点色度值的相位关系。图中待测点为中心的像素点A，水平轴为时间轴，垂直轴表示空间中的垂直方向。它们构成的面垂直于场所在平面。设空间中第n场奇场(FIELD_n_0DD)第i行j列的像素点表示为O_n，i，j，定义该点色度相位为0°，根据色度负载波频率和行频关系可以导出，O_n，i±1，j点色度相位与O_n，i，j色度相位相差90°，O_n，i±2，j点色度相位与O_n，i，j色度相位相差180°，O_n，i±1，j点色度相位与O_n，i，j色度相位相差90°，O_n，i±2，j点色度相位与O_n，i，j色度相位相差180°，偶场相关像素点的色度信号也具有同样的相位关系。对于NTSC制，其相位关系更加简单些，若O_n，i，j色度相位为0，则O_n，i±1，j点色度相位与O_n，i，j色度相位相差180，如图2所示，处理起来相对简单，因而一般都对较复杂PAL制进行仔细研究，NTSC制可以容易的推导出来。

图3示例了像素点的空间相关性，根据空间相关性的不同分为D1，D2，D3，D4四种类型，图3中不同灰度代表了不同的图像内容，其中D1类点同垂直方向紧邻的上下像素点相关性均不好；D2类点只与上相邻像素点的相关性好；D3类点只与下相邻像素点的相关性好；D4类点同其上下相邻像素点的相关性均很好。这反映了像素点的模块化特征。根据视频信号中同一模块像素点的运动情况相似，因而对像素点进行运动检测时应该充分考虑像素点的空间相关性，即其模块化特征。

图4为空间相关性检测和场内自适应亮度色度分离模块示意图。空间相关性检测过程与场内自适应亮度色度分离紧密结合，这样一方面节省了硬件资源，另一方面可以实现高效的场内自适应亮色分离。本发明中空间相关性检测模块主要用到了陷波器。因为陷波器进行亮色分离所获得结果水平解析度很高，而空间相关性检测模块主要检测像素点间的垂直相关性，且由之前的分析知道相邻像素点的色度值相位不同，因而不能直接相减，往往根据亮度差值来判断相关性。所以利用陷波器先对垂直相关像素点分别求取亮度值。根据制式不同相关像素点的选择也有所差异，以奇场信号为例：对于PAL制一般选择O_n，i，j和O_n，i±2，j三点，而NTSC值一般选择O_n，i，j和O_n，i±1，j三点。接着将O_n，i，j的亮度值与上、下两相关像素点的亮度值分别作差，将差值分别同空间相关性检测阈值比较，根据比较结果，生成二值化的空间相关性检测结果[Pre2_line，Next2_line]，表示了像素点的空间相关性(Pre2_line表示与上部点的相关性，Next2_line表示与下部点的相关性，1表示相关性好；0表示相关性不好)；所以图3所示的D1类点的[Pre2_line，Next2_line]值为[0，0]；D2点的[Pre2_line，Next2_line]值为[1，0]；D3类点的[Pre2_line，Next2_line]值为[0，1]；D4类点的[Pre2_line，Next2_line]值为[1，1]。另一方面产生场内自适应亮色分离方案的动态权值K1、K2、K3(K1+K2+K3＝1)将各亮色分离模块的结果加权平均作为场内自适应亮色分离模块的输出结果：Y_line，C_line。

同图3的分析类似，像素点还具有时间相关性。图5反映了这种相关性。图中水平方向表示时间轴，垂直轴为场所在平面的垂直方向。它们构成的平面垂直于场所在平面。由于像素点的运动情况不同，在时间上的相关性也可以分为D5、D6、D7、D8 4类。D5类点表示与前后场对应两像素点相关性均不好；D6类点表示只与前场对应像素点相关性好；D7类点表示只与后场对应像素点相关性好；D8类点前后场像素点相关性均很好。

图6-图9表示了运动检测时动态模块的选择。经过空间相关性的检测，将像素点划分为4类，分别用[Pre2_line，Next2_line]＝00、10、01、11表示，以PAL制为例，对于4类像素点分别选择了图7所示的模块，NTSC制可以选择类似的模块。在进行运动检测时依次采用如下的公式分别求出动态模块的加权平均差值，以d表示：

当[Pre2_line，Next2_line]＝[00]时，属于D1类点时：

d＝abs(O_n-2，i，j-O_n+2，i，j)

当[Pre2_line，Next2_line]＝[10]时，属于D2类点时：

d＝0.7·abs(O_n-2，i，j-O_n+2，i，j)+0.15·abs(O_n-1，i，j-O_{n+1，i-2，j})+0.15·abs(O_{n-1，i-2，j}-O_n+1，i，j)

当[Pre2_line，Next2_line]＝[01]时，属于D3类点时：

d＝0.7·abs(O_n-2，i，j-O_n+2，i，j)+0.15·abs(O_n-1，i，j-O_{n+1，i+2，j})+0.15·abs(O_{n-1，i+2，j}-O_n+1，i，j)

当[Pre2_line，Next2_line]＝[11]时，属于D4类点时：

d＝0.6·abs(O_n-2，i，j-O_n+2，i，j)+0.2·abs(O_{n-1，i-1，j}-O_{n+1，i+1，j})+0.2·abs(O_{n-1，i+1，j}-O_{n+1，i-1，j})

将加权平均差值与运动检测阈值比较，如果大于阈值则认为该像素点为运动点，否则认为它静止。

接着将检测结果经过中值滤波器处理，滤波器的一般选择为十字型或者X型，形状如图10所示。该中值滤波器的选择同样根据像素点的空间相关性，可以进一步提高检测精度，减少误判概率。

图11为时间相关性检测和场间自适应亮度色度分离示意图。它与3D自适应亮色分离紧密联系。这样节省用于场存的硬件成本并实现高效的3D自适应亮色分离。时间相关性检测依然与像素点的空间相关性紧密联系。根据[Pre2_line，Next2_line]的值(对应D1-D4类点)动态选取模块并利用不同的场内亮色分离方案求取亮度值。依然以PAL制求取O_n，i，j的亮度值为例：如果属于D1类点，使用陷波器依次求取O_n，i，j和O_n，i±2，j的亮度值；如果属于D2类点，使用上部3行的场内亮色分离方案依次求取O_n，i，j和O_n，i±2，j三点的亮度值；如果属于D3类点则使用下部3行的场内亮色分离方案；如果属于D4类点则使用了5行的场内亮色分离方案。求取了时间上相关三点的亮度值后，将求得的O_n，i，j的亮度值与O_n±2，i，j的亮度值作差，并将差值与时间相关性阈值比较，同空间相关性检查类似，可以生成二值化的时间相关性检测结果[Pre2_Frame，Next2_Frame]。表示了像素点的时间相关性(Pre2_Frame表示与前场对应像素点的相关性，Next2_Frame表示与后场对应像素点的相关性，1表示相关性好，0表示相关性不好)；所以图5所示的D5类点的[Pre2_Frame，Next2_Frame]值为[0，0]；D6点的[Pre2_Frame，Next2_Frame]值为[1，0]；D7类点的[Pre2_Frame，Next2_Frame]值为[0，1]；D8类点的[Pre2_Frame，Next2_Frame]值为[1，1]。另一方面产生场间自适应亮色分离方案的动态权值K4、K5、K6(K4+K5+K6＝1)将各亮色分离模块的结果加权平均作为综合场内和场间自适应亮色分离模块的最终输出结果：Y_Frame，C_Frame。

如图12所示，将空间相关性检测结果[Pre2_line，Next2_line]，时间相关性检测结果[Pre2_Frame，Next2_Frame]和像素点(可以是RGB，YUV等形式)构成新的视频信号数据结构。该结构将视频信号和其对应的空间时间信息统一起来，[Pre2_line，Next2_line]和[Pre2_Frame，Next2_Frame]值可以作为视频处理的重要参考，避免了重复检查，综合提升了视频信号处理能力。

图13表示了整个运动检测模块的结构和工作流程。