一种基于面向场景判别性分析的图像到视频人脸识别方法

摘要

本发明的实施方式提供了一种基于面向场景判别性分析的图像到视频人脸识别方法，其包括步骤：1）检测输入静止图像及人脸视频中的人脸区域，并将所述人脸区域归一化到相同大小；2）提取所述归一化处理后的人脸区域的特征，并进行降维；3）对所提取的静止场景人脸和视频场景人脸建立不同的映射矩阵，计算原始特征在映射空间中的特征表示；4）根据身份耦合的图像视频人脸训练数据，通过约束映射空间中人脸特征的类内紧致性和类间分离性，优化静止场景和视频场景的映射矩阵参数；5）将测试的人脸视频和数据库中的人脸图片分别输入对应的映射矩阵计算新特征，采用最近邻算法识别视频人脸身份。本发明对不同的场景建立不同的映射矩阵，有效地建模不同场景的数据特征，并利用线性判别分析学习优化面向场景的映射矩阵，使得变换后的特征具有良好的区分性。

说明书

技术领域

本发明属于视频人脸识别技术领域，具体涉及一种基于面向场景判别性分析的图像到视频人脸识别方法。

背景技术

随着摄像头等信息采集设备的普及，视频数据资源逐渐在日常生活中得到广泛的应用。其中一个重要的应用包括各种场景中的面部照片匹配，如识别驾照，护照，身份证中的人脸图像。因此，基于视频数据的人脸识别研究称为了一个紧急而重要的任务。这里，我们主要关注现实世界中的图像到视频的人脸识别应用。在这种场景中，数据库中的每个人只注册单张或者少量的高质量静止图片，而查询图片是多个视频片段。这些视频通常是从不同环境中获取的，受光照、姿态、运动模糊等因素干扰，视频帧的质量较低且比较模糊。由于不同场景中的数据通常表现出非常不同的特征，而且这些场景变化带来的图片差异可能使得同一个人的不同场景人脸图片位于不同的子空间。这些因素导致图片到视频的人脸识别问题存在很大的挑战。

目前大多数研究主要致力于图片到图片或视频到视频的人脸识别问题。CN101668176A的中国专利提供了一种雾天图像中人脸的识别方法和识别装置，CN102955933A提供了一种基于人脸识别的家居门禁控制方法，CN102223520A中提供的智能人脸识别监控系统，这些方法通常假设注册数据和查询数据都是图片或者视频，并且采用相同的特征提取或者特征变换方法来来提取数据信息，然后直接计算它们的相似度，进行人脸识别。尽管常用的基于转换的方法，如主成分分析（PCA）、线性判别分析（LDA），能获得比较好的投影空间用于图像表述。但是当注册数据和测试数据的分布存在较大的差异的情况下，这些方法的性能会严重的退化。为了解决这个问题，有人提出了一种改进的LDA方法，这个方法采用偏权重和局部权重策略来强调交叉场景的人脸图像对。这类方法的缺点在于只用单一的映射来建模所有场景的数据特征。

发明内容

本发明的目的是要解决交叉场景人脸识别中人脸数据特征分布差异大的问题，为此，本发明提供了一种基于面向场景判别性分析的图像到视频人脸识别方法。

为了实现所述目的，本发明的一种基于面向场景判别性分析的图像到视频人脸识别方法，其特征在于，包括以下具体步骤：

        A)首先，检测输入静止人脸图片和人脸视频中的人脸位置，提取人脸区域图像，将人脸区域归一化为大小为                                                的矩形图像区域，H表示矩形图像区域的高度，W表示矩形图像区域的宽度；

        B）在归一化的人脸区域图像上提取特征，并用主成分分析方法对特征降维；

        C）对静止场景和视频场景分别假设不同的映射矩阵，将原始的静止图片人脸特征和视频人脸特征分别输入到对应的变换矩阵后，获得在映射空间中的特征表述；

         D)训练集中的每个人都提供一张静止人脸图片和多个环境变化的人脸视频片段；通过约束映射空间中同一人在静止场景和视频场景中的人脸特征距离小，而不同人的人脸特征距离大，构造面向场景的判别分析优化目标；利用梯度下降法求解目标函数，得到最优的映射矩阵参数，使得不同场景人脸特征在映射空间中达到良好的区分性能；

        E)将测试视频人脸图片输入视频场景映射矩阵，数据库中所有的静止图片人脸输入静止场景映射矩阵，分别得到转换后的新特征；计算测试人脸视频到数据库中所有静止人脸图片的距离，选择与测试视频距离最小的图片人脸作为测试视频的身份。

进一步，所述步骤B)中，图像上提取的特征类型是纹理特征、幅值特征、相位特征LPQ或上述特征的组合；基于原始图像提取的特征维数比较高，而且含有很多的冗余信息和干扰信息，因此采用主成分分析方法获得降维矩阵，原始特征通过降维矩阵后获得低维特征。

进一步，纹理特征为LBP或HLBP，幅值特征为Gabor幅值，相位特征为LPQ。

进一步，所述步骤C)中，；对静止场景和视频场景分别对应不同的映射矩阵，用它们来分别建模两种场景的数据特征；原始特征输入映射矩阵后,在映射空间中的特征表示为。

进一步，所述步骤D)中，训练集包括高质量的静止人脸图片集和低质量的人脸视频集;包含个人的静止人脸集表示为，其中表示第i个人的静止图片，R^ds表示ds维度的空间；对应地，视频人脸集包括静止人脸集中每个人i的视频片段，其中表示视频片段中的第k个图像帧，R^dv表示dv维度的空间；假设静止场景映射矩阵为；视频场景映射矩阵为，其中分别为映射矩阵参数。

进一步，形成静止场景和视频场景中映射矩阵参数的具体步骤为：

         1）分别构建映射空间中人脸特征的类内紧致性约束和类间分离性约束;类内紧致性计算同一人的视频场景图片帧和静止场景图片的距离；类间分离性计算不同人的视频场视频片段的平均值和静止场景图片的距离；计算表达式为：

        ，

          ，

其中，

，

分别为相同人脸图片的组成的图片对数和不同人脸图片组成的图片对数；

        2）为了在映射空间中达到好的区分性能，限制同一人在静止场景和视频场景中的人脸特征距离小，而不同人的人脸特征距离大;因此，面向场景的判别分析优化目标计算为：

            ，

其中，是紧致性和分离性限制项在目标函数里的折中参数；

        3）将目标函数简化为矩阵表示形式;假设静止图片集表示为；视频片段集为，其中；视频集平均特征为;步骤2）中的目标函数表示为：

    

其中，

            ，

           ， 

            ,

表示从矩阵中去掉子矩阵得到的残余矩阵，表示矩阵F范数；

      4）利用剃度下降方法求解目标函数关于映射矩阵的梯度，更新矩阵直到收敛。

进一步，所述E)步中，将测试视频集输入视频场景映射矩阵，新特征计算为：

              。

将数据库中所有的静止图片人脸输入静止场景映射矩阵，新特征计算为：

             

视频片段到数据库中每个人的距离计算为：

            

视频片段的身份识别为数据库中与其距离最小的人脸图像的身份：

           。

本发明的有益效果：本发明对不同的场景建立不同的映射矩阵，有效地建模不同场景的数据特征，并利用线性判别分析学习优化面向场景的映射矩阵，使得变换后的特征具有良好的区分性。

附图说明

当结合附图阅读下文对示范性实施方式的详细描述时，这些以及其他目的、特征和优点将变得显而易见，在附图中：

图1表示本发明的基于面向场景判别性分析的图像到视频人脸识别方法的流程图；

图2表示身份耦合的静止图片和多视频片段的示意图。

具体实施方式

图1 为本发明所述方法的实施例流程图，参照图1，本发明提出的一种基于面向场景判别性分析的图像到视频人脸识别方法具体包括以下步骤：

        步骤1：检测输入静止图像及人脸视频中的人脸区域，并将所述人脸区域归一化到相同大小；

首先，检测原始输入图片中人脸的位置，提取人脸区域图像。这一步骤可采用基于AdaBboost方法（Robust real-time face detection，Viola, Paul and Jones, Michael J，International journal of computer vision 2004）得到的人脸检测器来实现。通过对输入人脸图像的检测，得到一个包含人脸区域的图像区域。这样的图像区域中的脸部区域的大小通常不一样，无法直接用于识别。因此需要对人脸区域进行归一化处理，这里我们将人脸区域归一化为大小为的矩形图像区域，H表示矩形图像区域的高度，W表示矩形图像区域的宽度。

步骤2：提取所述归一化处理后的人脸区域的特征，并进行降维；

人脸区域上提取的特征类型可以是纹理特征、幅值特征、相位特征或上述特征的组合,纹理特征为LBP或HLBP，幅值特征为Gabor幅值，相位特征为LPQ。基于原始图像提取的特征维数一般比较高，而且含有很多的冗余信息和干扰信息，因此可以采用主成分分析方法获得降维矩阵，原始特征通过降维矩阵后获得低维特征。

步骤3：对所提取的静止场景人脸和视频场景人脸建立不同的映射矩阵，计算原始特征在映射空间中的特征表示；静止场景的人脸图片一般质量较高；而人脸视频质量较低且比较模糊。由于不同场景的数据表现出非常不同的特征，所以我们对静止场景和视频场景分别假设不同的映射矩阵，用它们来分别建模两种场景的数据特征。假设静止场景映射矩阵为；视频场景映射矩阵为，其中分别为映射矩阵参数，R^ds表示ds维度的空间，R^dv表示dv维度的空间。静止场景的人脸图片输入映射矩阵后,在映射空间中的特征表示为；视频人脸输入映射矩阵后,在映射空间中的特征表示为。

步骤4：根据身份耦合的图像视频人脸训练数据，通过约束映射空间中人脸特征的类内紧致性和类间分离性，优化静止场景和视频场景的映射矩阵参数；训练数据集包括高质量的静止人脸图片集和低质量的人脸视频集。图2是训练集中的一个例子，包括单张静止人脸图片和不同场景下的视频片段。假设包含个人的静止人脸集表示为，其中表示第i个人的静止图片；对应地，视频人脸集包括静止人脸集中每个人i的视频片段，其中表示视频片段中的第k个图像帧。

 静止场景和视频场景中映射矩阵参数的优化步骤具体为：

       1）分别构建映射空间中，人脸特征的类内紧致性约束和类间分离性约束。类内紧致性计算同一人在不同场景中的人脸图片对的差异，这里是同一人的视频场景图片帧和静止场景图片的距离；类间分离性计算不同人的人脸图片对的差异，这里是不同人的视频场视频片段的平均值和静止场景图片的距离；计算表达式为：

        ，

          ，

其中，

，

分别为相同人脸图片的组成的图片对数和不同人脸图片组成的图片对数。

 2）为了在映射空间中达到好的区分性能，需要限制同一人在不同场景（静止场景和视频场景）中的人脸特征距离小，而不同人的人脸特征距离大。因此，面向场景的判别分析优化目标可以计算为：

            ，

其中，是紧致性和分离性限制项在目标函数里的折中参数。

3）将目标函数简化为矩阵表示形式。假设静止图片集表示为；视频片段集为，其中每个视频片段表示为；视频集平均特征为。步骤2）中的目标函数可以表示为：

    

其中，

            ，

          ， 

            ,

表示从矩阵中去掉子矩阵得到的残余矩阵，表示矩阵F范数。

4）利用梯度下降法求解目标函数，得到最优的映射矩阵参数，使得不同场景人脸特征在映射空间中达到良好的区分性能。

步骤5，将测试的人脸视频和数据库中的人脸图片分别输入对应的映射矩阵计算新特征，采用最近邻算法识别视频人脸身份。

图像到视频的识别算法具体步骤包括：

      1）将测试视频集输入视频场景映射矩阵，新特征计算为：

              。

将数据库中所有的静止图片人脸输入静止场景映射矩阵，新特征计算为：

             

      2）计算测试人脸视频到数据库中所有静止人脸图片集的距离：

            

视频片段的身份识别为数据库中与其距离最小的人脸图像的身份：

           。

相对于目前流行的图片到视频的人脸识别方法，本发明所提出的基于面向场景判别性分析的图像到视频人脸识别方法能够较好的建模不同场景的数据特征，达到较好的识别性能。我们在C0X-S2V人脸数据库上进行了测试，实验中选用是幅值特征（Gabor幅值）、相位特征（LPQ）的组合，本发明提出的方法相较目前性能最好的方法识别率有较大的提高。

已经出于示出和描述的目的给出了本发明的说明书，但是其并不意在是穷举的或者限制于所公开形式的发明。本领域技术人员可以想到很多修改和变体。本领域技术人员应当理解，本发明实施方式中的方法和装置可以以软件、硬件、固件或其组合实现。

因此，实施方式是为了更好地说明本发明的原理、实际应用以及使本领域技术人员中的其他人员能够理解以下内容而选择和描述的，即，在不脱离本发明精神的前提下，做出的所有修改和替换都将落入所附权利要求定义的本发明保护范围内。