引入全局特征分类的视频图像运动处理方法及其实现装置

摘要

本发明属于视频数字图像处理技术。针对现有视频图像运动处理方法中存在的误差较大的问题，提供了一种引入全局特征分类的视频图像运动处理方法。引入全局特征分类的视频图像运动处理方法包括如下步骤：提取像素点的局部特征，包括局部运动特征；提取图像的全局特征；依据得到的局部特征和全局特征对像素点进行分类；对得到的类别赋予校正参数；利用得到的校正参数对局部运动特征进行校正。本发明的另一个目的是提供实现上述引入全局特征分类的视频图像运动处理方法的装置。由于引入了待处理视频图像全局特征对像素点的局部运动特征进行分类，并按不同类别进行针对性的校正，所以采用本发明的技术方案得到的最终的局部运动特征更为精确。

说明书

技术领域

本发明属于数字图像处理技术，特别涉及视频数字图像运动处理技术。

背景技术

目前，在视频数字图像运动处理中，通常是针对待处理像素点和/或邻近若干像素点等局部区域的运动特征及其变化进行处理，图像中全部像素点局部区域运动特征处理结果的集合构成了图像最后的处理结果。下面以运动自适应算法(Motion Adaptive)为例对这种常用的视频图像运动处理方法进行介绍。

运动自适应算法是一种基于运动信息的视频数字图像处理技术，常见于图像插值、图像去隔行、图像降噪以及图像增强等各种图像处理过程中。运动自适应算法的基本思想是利用多帧图像对像素点的运动状态进行检测，判断该像素点倾向于静止或是运动，以此作为进一步运算处理的依据。如果像素点倾向于静止的状态，那么相邻帧的同一位置的像素点将会具有与当前点相近的特征，可以作为相对精确的参考信息，该方法被称为帧间(Inter)处理。而如果像素点倾向于运动的状态，那么相邻帧的同一位置像素点的信息不能作为参考，因此只能以同一帧的空间相邻像素作为参考信息，即所谓的帧内(Intra)处理。

在实际应用中，同一帧图像中各像素点的运动情况各不相同，为了弥补单一方法所带来的问题，将上述帧间和帧内两种处理算法相结合，以得到最佳的图像效果。运动自适应算法对两种处理算法的结果进行加权平均，公式为：

P_result＝a×P_intra+(1-a)×P_inter

其中，Presult为最终处理结果，Pintra为帧内处理结果，Pinter为帧间处理结果。即运动自适应权值a越大，即运动越强，则倾向于帧内处理；反之，运动自适应权值a越小，则倾向于帧间处理。运动自适应权值a由相邻两帧对应像素点之间差值的绝对值得到，具体的公式如下：

a＝|P(n，i，j)-P(n-1，i，j)|

其中，P是像素点的亮度值；n是图像的帧按时间顺序的序号；i为像素点所在图像的行数；j为像素点所在图像的列数。

由以上的说明可以看出，这种图像运动处理方法的处理对象是像素点，同时利用以待处理像素点为中心的周围局部区域的信息作为辅助信息。这种图像处理方法由于将判断目标局限于一个微观的局部区域，这与人眼对图像的全局识别方式存在差异，那么当图像受到帧间延迟以及噪声等问题的影响，特别是在图像中既有运动又有静止的情况下，可能会出现比较大的判断误差，在区域块的边缘也容易出现块效应。

发明内容

本发明针对现有视频图像运动处理方法中存在的由于局限于局部区域进行判断所带来的误差较大的问题，提供了一种引入全局特征分类的视频图像运动处理方法。

本发明的另一个目的是提供实现上述引入全局特征分类的视频图像运动处理方法的装置。

本发明的技术思想是利用待处理视频图像的全局特征信息和像素点的局部特征信息对像素点特定的局部运动特征信息进行分类，对每一分类赋予校正值，再利用校正值对像素点特定的局部运动特征信息进行校正，得到更为精确的像素点局部运动特征信息。

本发明的技术方案如下：

引入全局特征分类的视频图像运动处理方法，包括如下步骤：

A、获取待处理视频图像中像素点的局部特征，所述局部特征包括局部运动特征；

B、获取待处理视频图像全局特征；

C、依据步骤A和步骤B得到的所述局部特征和所述全局特征对待处理视频图像中像素点进行分类，得到若干类别；

D、对步骤C得到的像素点归属的类别赋予校正参数；

E、利用步骤D得到的校正参数对步骤A得到的若干局部运动特征进行校正，得到最终的局部运动特征。

步骤A所述获取的局部运动特征包括像素点的运动自适应权值；步骤E所述的进行校正的局部运动特征为像素点的运动自适应权值，得到像素点的最终的运动自适应权值。

步骤A所述局部运动特征还包括表明像素点场间运动状态的像素点场间运动特征值，得到场间运动特征值的公式为：

Motionfield＝|(P(n，i-1，j)+P(n，i+1，j))/2-P(n+1，i，j)|；其中，Motionfield为像素点场间运动特征值；P为像素点亮度值；n为图像场按时间顺序的序号；i为像素点所在图像的行数；j为像素点所在图像的列数。

步骤A所述获取的局部特征还包括通过对像素点进行边缘检测而得到的像素点是否是边缘点的判断值。

所述边缘检测包括如下步骤：

1)获取待处理像素点所在场内若干相邻像素点间亮度的差值，所述相邻像素点的亮度值为确定值；待处理像素点所在场前一场或后一场内对应位置像素点与相邻像素点间亮度的差值，所述相邻像素点的亮度值为确定值；

2)取1)中获得的差值的最大值与预定值进行比较。

步骤B所述获取全局特征包括如下步骤：

(1)对待处理视频图像中选定像素点的运动自适应权值进行统计，设定一个阈值作为界限，分别统计出大于或大于等于阈值的像素点数量Nm和小于或小于等于阈值的像素点数量Ns；

(2)设定若干个数值区间，求出比值Nm/Ns，确定比值Nm/Ns所属的数值区间，将比值Nm/Ns所属特定数值区间作为全局特征。

获取全局特征步骤(1)所述选定像素点为边缘像素点。

步骤C所述分类是指依据得到的全局特征、运动自适应权值、边缘点的判断值以及场间运动特征值作为待处理像素点的分类依据进行分类，得到若干分类类别，将像素点归属于各分类类别。

步骤C所述分类的方法为决策树分类法。

步骤D中所述校正采用的校正公式为：

a’＝Clip(f(a，k)，m，n)；

其中a’为最终的运动自适应值；a为步骤A得到的运动自适应权值；k为步骤D中的分类参数；f(a，k)为以a和k为变量的二元函数；Clip()是截断函数，确保输出值在范围[m，n]之间。

实现引入全局特征分类的视频图像运动处理方法的装置包括如下单元：局部特征获取单元、全局特征获取单元、分类单元和校正单元；局部特征获取单元分别与分类单元和校正单元连接；全局特征获取单元分别与局部特征获取单元和分类单元连接；分类单元还与校正单元连接；所述局部特征获取单元用于对待处理视频图像中的像素点提取局部特征，所述局部特征包括局部运动特征；所述全局特征获取单元用于提取待处理视频图像的全局特征；所述分类单元用于对待处理视频图像中像素点依据全局特征获取单元与局部特征获取单元的结果进行分类，分类后得到的类别被赋予校正参数；校正单元利用分类单元得到的校正参数对局部特征获取单元得到的若干局部特征进行校正。

所述局部特征获取单元包括运动检测单元，所述运动检测单元输出结果到所述分类单元；运动检测单元得到的结果为待处理像素点的运动自适应权值和场间运动特征值。

所述局部特征获取单元还包括边缘检测单元，所述边缘检测单元输出结果到所述全局特征获取单元；边缘检测单元得到的结果为待处理像素点是否是边缘点的判断值。

技术效果：

由于引入了待处理视频图像全局特征对像素点的局部运动特征进行分类，并按不同类别进行针对性的校正，所以采用本发明的技术方案得到的最终的局部运动特征结果更为精确。由于人眼对图像效果的认知都是从图像全局的、宏观的角度来判断，引入全局的特征对像素点的局部运动特征进行分类可以从全局的角度对像素点局部运动特征的偏差进行纠正，可以避免仅从局部得到的运动特征由于各种干扰因素而产生的失真，提高像素点局部运动特征的准确度。

在进行运动检测时虽然全局统计最直接的方法是对图像全部像素点进行处理，即对图像中的每一个像素点都统计其运动状态。但是同一帧图像中不同像素点的运动状态各不相同，而且对于一般连续的视频来说很大部分的像素点都处于静止状态(即使是人眼感觉到的运动图像)，图像中边缘像素点(edge)更能代表图像的运动状态，即如果边缘像素点运动，则图像有运动，边缘像素点不运动，则图像无运动。因此引入待处理视频图像边缘像素点的运动信息对像素点的运动特征进行分类判断与处理，能够更加精确的判断图像的运动状态。

在边缘检测过程中针对隔行图像处理的情况下，不但依据像素点同一场邻近像素点的信息，还依据前一场对应像素点邻近像素点的信息，即运动检测要检测相邻场之间的运动结果。因为由像素点运动特征帧间差值(即帧间运动)得到的原始的运动信息存在两场的时间间隔，因此如果像素点的变化频率恰好与场频一致，则无法检测出场运动(举例来说：(n-1)场为黑，(n)场为白，而(n+1)场又为黑则会被判断为无帧运动)。为了避免这一问题的发生引入了场间运动检测。

附图说明

图1为引入全局特征分类的视频图像运动处理方法的原理框图；

图2为引入全局特征分类的视频图像运动检测方法的原理框图；

图3为得到场间运动特征值的原理图；

图4为边缘检测的原理图；

图5为像素点类别划分图；

图6为决策树分类的示意图；

图7为实现引入全局特征分类的视频图像运动处理方法的装置的结构框图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明。

如图1所示，引入全局特征分类的视频图像运动处理方法包括如下步骤：

A、获取局部特征：获取待处理视频图像中像素点的局部特征，局部特征至少包括局部运动特征。像素点的局部运动特征是指表征像素点运动状态的属性特征信息。

B、获取全局特征：获取待处理视频图像全局特征。全局特征为图像从宏观角度体现出的特性，是综合处理图像内像素点的属性特征(即微观特性)后而得出的。

C、分类：依据步骤A和步骤B得到的所述局部特征和所述全局特征对待处理视频图像中像素点进行分类，得到若干类别。分类主要是将若干局部特征的值划分成不同的区段，将像素点归属于不同的区段，从而像素点归属于不同的类别。依据全局特征与局部特征对像素点进行分类时可以叠加进行分类，例如像素点可以分为边缘像素点和非边缘像素点，而边缘像素点和非边缘像素点中分别可以继续分成运动像素点和非运动像素点。

D、赋予校正参数：对步骤C得到的像素点归属的类别赋予校正参数。这里的校正参数可以由很多方法得到，常见的可以采用经验值，即将经过验证有效的经验值赋予每个类别。

E、校正：利用步骤D得到的校正参数对步骤A得到的若干局部运动特征进行校正，得到最终的局部运动特征。根据实际情况，校正也可以针对多个局部运动特征进行。

由于引入了待处理视频图像全局特征对像素点的局部运动特征进行分类，并按不同类别进行针对性的校正，所以采用本发明的技术方案得到的最终的局部运动特征结果更为准确。由于人眼对图像效果的认知都是从图像全局的、宏观的角度来判断，引入全局的特征对像素点的局部运动特征进行分类可以从全局的角度对像素点局部运动特征的偏差进行纠正，可以避免仅从局部得到的运动特征由于干扰等因素而产生的失真，提高像素点局部运动特征的准确度。

下面以引入全局特征分类的视频图像运动检测方法(以下简称本运动检测方法)对本发明进行进一步的具体说明。本实施例中待处理的视频图像信号是隔行信号，即一帧图像包含时间顺序上2场图像信息，每场图像分别具有奇行像素信息或偶行像素信息，其中针对隔行信号情况的处理(如场间运动特征值运算和边缘判断中引入前一场的信息)在逐行信号的情况下可以省略。

图2揭示了本运动检测方法的原理。图2中实线框包括的3个文字框(获得像素点运动自适应权值、获得场间运动特征值、判断边缘像素点)构成了获取局部特征阶段；虚线框包括的2个文字框(统计边缘像素点的运动自适应权值、确定统计结果分类)构成了获取全局特征阶段。

在获取局部特征阶段，本运动检测方法在待处理视频图像中提取像素点的运动自适应权值、场间运动特征值和边缘判断值三个局部特征的值。

在获取全局特征阶段，首先要统计边缘像素点的运动自适应权值；其次，根据对边缘像素点运动自适应权值的统计结果，比照经验值可以对待处理视频图像进行初步的分类，即待处理视频图像的全局图像是倾向于运动还是倾向于静止。

在分类阶段，以对全局图像倾向于运动还是静止的判断以及前述得到的像素点的运动自适应权值、场间运动特征值和边缘判断值三个局部特征作为分类的依据，对全局像素点进行分类，最终每个像素点都有归属的类别，对每一像素点归属的类别赋予校正参数。每个分类依据都是在数值区间上根据经验划分不同的区段，以这些区段作为分类类别，例如运动自适应权值可以根据经验确定一个门限值，像素点的运动自适应权值大于此门限值的，像素点被划分到有运动像素点类别；小于此门限值的像素点被划分到无运动像素点类别。

在校正阶段，利用对全局像素点分类阶段得到的校正参数对待处理视频图像像素点的运动自适应权值进行校正，得到最终的像素点的运动自适应权值。

下面对具体步骤的技术措施进行详细说明。

1.获取局部运动特征阶段

1.1运动自适应权值

获取运动自适应权值的方法有很多种，例如简单的利用帧间差值绝对值的方法即可得到，公式如下：

a(n，i，j)＝|P(n+1，i，j)P(n-1，i，j)|

其中，a(n，i，j)为像素点的运动自适应权值；P为像素点亮度值；n为图像帧按时间顺序的序号；i为像素点所在图像的行数；j为像素点所在图像的列数。为了后续数据计算的简化，将得到的a进行等比例的归一化处理，即等比例地将所得a值限定在[0，1]的区间内。

1.2场间运动特征值

获得场间运动特征值，即获得相邻场之间的运动结果，其意义在于1.1得到的运动自适应权值是帧间运动值，而在隔行处理的情况下，原始的运动信息存在两场的时间间隔，因此如果像素点的变化频率恰好与场频一致，则无法检测出场运动(举例来说：(n-1)场为黑，(n)场为白，而(n+1)场又为黑则会被判断为无帧运动)。为了弥补这一问题需要引入场间运动检测，其检测依据为P(n，i-1，j)和P(n，i+1，j)与P(n+1，i，j)(或P(n-1，i，j))之间的差值关系。公式如下：

Motion_field＝|(P(n，i-1，j)+P(n，i+1，j))/2-P(n+1，i，j)|

其中，Motionfield为场间运动特征值；P为像素点亮度值；n为图像场按时间顺序的序号；i为像素点所在图像的行数；j为像素点所在图像的列数。图3揭示了场间运动特征值获得的原理。

1.3边缘判断值

虽然对全局运动状态的统计与判断最直接的方法是对整帧图像的全部像素点进行处理，但在一帧图像中，不同像素点的运动状态各不相同，而且对于一般连续的视频图像来说，大部分的像素点都处于静止状态，因此对全局所有像素点的运动状态进行统计与判断往往会影响精度。在实际情况中，图像中边缘更能准确地代表图像的运动状态，因此，对边缘像素点运动状态的统计与判断能提高精度。

边缘检测包括如下步骤：

1)获取待处理像素点所在场内若干相邻像素点间亮度的差值，所述相邻像素点的亮度值为确定值；待处理像素点所在场前一场或后一场内对应位置像素点与相邻像素点间亮度的差值，所述相邻像素点的亮度值为确定值；

2)取1)中获得的差值的最大值与预定值进行比较。

图4揭示了本运动检测方法中边缘检测的原理。这里共取样了6个像素点间的亮度差值，其中D1、D2、D3和D4为水平方向的差值，D5和D6为垂直方向的差值，这里所获取的差值D1至D6均为亮度值是确定的像素点间的差值，即由于是隔行信号，则每一场内只隔行选取亮度值确定的像素点作差值。这里引入D6(即前一场内像素点间的差值)主要是由于隔行信号的垂直像素之间不相邻，为了检测出高频的双向跳变边缘而采取的辅助判断方法。即如果在当前待处理像素点处存在一条水平方向的横线，那么无法使用D1～D5的插值将其检测出来，于是需要D6作为辅助检测判断。对D1～D6这6个差值取最大值，然后将该最大值与给定的阈值(预定值)进行比较，本实施例中阈值取20。如果所述最大值超过阈值则认为该像素点处于图像的边缘，否则该像素点不属于图像的边缘。将边缘检测的结果设定为特定值赋予像素点作为边缘判断值，便于后续步骤处理。

2.获取全局特征阶段

2.1统计边缘像素点的运动自适应权值

对于属于边缘的像素点，将其运动自适应权值计入统计数据，而非边缘的像素点则忽略不计。最终在处理完整帧图像后，可以得到边缘像素的运动统计结果。统计方法可采用直方图统计或概率密度统计等多种统计方法对像素点的运动自适应权值进行统计。这里采用的方法是分别统计无运动(即帧间运动自适应权值为0)的像素点数量Ns和有运动(即帧间运动自适应权值为非0)的像素点数量Nm。这一步的统计对象也可以是全部像素点的运动自适应权值或依据其他规则选定的像素点的运动自适应权值。

2.2确定统计结果分类

将2.1的统计结果按照以下规则进行分类，得到不同的图像全局运动状态：

Nm/Ns＞p，图像倾向于运动状态；

Nm/Ns＜q，图像倾向于静止状态；

q＜＝Nm/Ns＜＝p，图像处于既有运动又有静止的状态。

其中p和q分别为可调整的阈值，且p＞q。在本实施例中p和q的取值如下：p＝5，q＝1/5。上述三种状态分别对应一个数值，例如0、1、2称为运动状态，便于后续的处理。上述得到的状态值作为全局特征应用在后续步骤中。由于在得到该帧图像状态信息的同时，该帧图像已经处理完毕，因此得到的运动状态被应用到下帧的处理中。为了避免平滑图像的突变，将当前图像得到的运动状态对应的数值，与前若干帧图像(通常为3帧)的运动状态对应的数值进行算术平均，从而减轻临界状态的突变。

3.分类阶段：对像素点利用分类决策树分类

为了对待处理视频图像中不同状态的像素点进行不同的运动校正，本部分将前述获得的全局特征、边缘判断值、运动自适应权值以及场间运动特征值作为分类依据，除本实施例中特别说明外，这些分类依据均在其数值的范围内根据设定的阈值划分类别。这些分类依据将叠加建立多层分类结构，例如，以边缘判断值和运动自适应权值叠加，以这两个值分别作为坐标，建立如图5错误！未找到引用源。所示的二维坐标系，将像素归类在四个不同的象限中，分别是：边缘有运动像素点C1、非边缘有运动像素点C2、边缘无运动像素点C3和非边缘无运动像素点(C4和C5)。

要特别说明的是这里将非边缘无运动像素点又分为了无场间运动像素C4和有场间运动像素C5。这是为了前述高频变化情况做的处理，即此时的帧间无运动，如果场间运动存在，就会出现判断错误，为了避免这种情况的发生，需要区分出存在场间运动的情况。

对待处理视频图像中每个像素点进行分类。常见的模式分类方法包括：决策树、线性分类、贝叶斯分类、支持向量机分类等。这里采用决策树分类的方法对像素点进行分类。图6为最终得到的决策树分类结构。

4.对每一类别赋予校正参数

如图6所示，对每一个像素点所属的最低层类别赋予校正参数k，其中k的第一下标分别对应着第一层分类，即三种全局图像运动状态；第二下标分别对应最低层分类。各个k值之间的基本关系为：k1，x≥k2，x≥k3，x，x∈{1，2，3，4，5}。这里赋予的校正参数是通过试验得到的经验值。本实施例中采用的数值如下表所示：

  x＝1  x＝2  x＝3  x＝4  x＝5  k_1，x  0.3  0.4  0  0  0.3  k_2，x  0.5  0.5  0  0  0.6  k_3，x  0.6  0.6  0.2  0.4  0.6

5.校正阶段

根据像素点所属的类别，分别确定了对应的校正参数k，利用k值对初始得到的像素点运动自适应权值进行校正。由于能够从全局角度更有针对性地对初始得到的运动自适应权值进行校正，因此可以得到更加精确的最终运动自适应权值。运动自适应权值处于一定的范围之内，因此校正后的最终的运动自适应权值应当仍然处于这一范围内，超出的数值被截断。具体的校正公式如下：

a’＝Clip(f(a，k)，m，n)；

其中a’为最终的运动自适应值；a为步骤A得到的运动自适应权值；k为步骤D中的分类参数；f(a，k)为以a和k为变量的二元函数；Clip()是截断函数，确保输出值在范围[m，n]之间，即大于n的取值为n，小于m的取值为m。如果前面对a进行了归一化，这里a’应该是在[0，1]的范围。

图7揭示了以视频图像运动检测为例的实现引入全局特征分类的视频图像运动处理方法的装置的结构。实现引入全局特征分类的视频图像运动处理方法的装置包括如下单元：局部特征获取单元、全局特征获取单元、分类单元和校正单元。其中，局部特征获取单元分别与分类单元和校正单元连接；全局特征获取单元分别与局部特征获取单元和分类单元连接；分类单元和校正单元连接。

局部特征获取单元用于对待处理视频图像中的像素点提取局部特征，所述局部特征包括局部运动特征；全局特征获取单元用于提取待处理视频图像的全局特征；分类单元用于对待处理视频图像中全局像素点依据局部特征单元的结果进行分类，分类后得到的类别被赋予校正参数；校正单元利用分类单元得到的校正参数对局部特征获取单元得到的若干局部特征进行校正。

在本实施例的实现引入全局特征分类的视频图像运动检测方法的装置，局部特征获取单元包括运动检测单元，运动检测单元接收待处理视频图像信息，运动检测单元得到的结果为待处理像素点的运动自适应权值和场间运动特征值。运动检测单元的结果输出到后续的分类单元。

在本实施例的实现引入全局特征分类的视频图像运动检测方法的装置，局部特征获取单元还包括边缘检测单元。边缘检测单元接收待处理视频图像信息，得到的结果为待处理像素点是否是边缘点的判断值。边缘检测单元的结果输出到全局特征获取单元。

在本实施例的实现引入全局特征分类的视频图像运动检测方法的装置，其全局特征获取单元还包括边缘像素统计单元，用于统计全局边缘像素点的局部运动特征(具体的是指运动自适应权值)，并将结果用于分类单元的分类。分类单元依据对全局边缘像素点运动特征的统计结果判断图像所属的类别，这一类别作为后续分类的依据。

实现引入全局特征分类的视频图像运动检测方法的装置的工作过程如下：

待处理视频图像的信息首先由局部特征获取单元处理，获得像素点的运动自适应权值、场间运动特征值和像素点是否是边缘点的判断值。全局特征获取单元接收局部特征获取单元得到的像素点是否是边缘点的判断值后，对边缘像素点的运动自适应权值进行统计，统计结果与预先设定值的比较得到的结果传递给分类单元。分类单元获取局部特征获取单元和全局特征获取单元传送的信息(像素点的运动自适应权值、场间运动特征值、像素点是否是边缘点的判断值和所述统计结果的比较后结果)，根据上述信息将待处理像素点分配到确定的类别中，这些类别被赋予校正参数。校正单元利用分类单元得到的校正参数对局部特征获取单元得到的像素点的运动自适应权值进行校正，得到最终的运动自适应权值。至此，实现引入全局特征分类的视频图像运动检测方法的装置完成一个工作过程。

应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明，但不以任何方式限制本发明。因此，尽管本说明书参照附图和实施方式对本发明已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明进行修改或者等同替换；而一切不脱离本发明的精神和技术实质的技术方案及其改进，其均应涵盖在本发明专利的保护范围当中。