多重特征驱动的相似度量学习人物检索法

摘要

本发明提出多重特征驱动的相似度量学习人物检索法，主要是从色彩特征和纹理特征的角度进行考虑，即将两个不同的电子眼中的同种特征进行约束，使得两个电子眼中的色彩特征共同学习获取一个色彩度量空间，纹理特征也学习得到一个纹理度量空间，这两个距离度量空间都是针对各自的特征学习得到的，色彩度量空间中的数据能够更好的保留色彩特征的某些特性和信息，纹理度量空间中的数据能够更好的保留纹理特征的特性和信息，在进行检索的过程中，将不同的特征投影到对应的距离度量空间中，然后再进行检索任务。实验证明，该方法不仅平均检索率比所有对比方法高，而且算法运行时间短，检索成本大幅降低，精确度明显提高。

说明书

技术领域

本发明涉及一种视频图像人物高速检索方法，特别涉及一种多重特征驱动的相似度量学习人物检索法，属于图像人物检索技术领域。

背景技术

视频图像人物重检索技术的研发起始于20世纪90年代中期，研究者们借鉴、引入了一些图像处理、模式检索领域的方法，侧重研究了人物的可用特征、简单分类算法。自2016年以来，人物重检索技术的训练库趋于大规模化，开始采用深度学习框架，随着一些企业、高校、研究所的研究持续深入，人物重检索技术得到了飞速发展。

由于人物重检索问题所处的实际环境变化很大，而且变化非常不稳定。这些因素导致在解决人物重检索问题时面临着诸多的挑战，多电子眼分布式监控系统的主要目的就是把在不同时间、不同地点出现的跨电子眼的人物关联起来。更进一步讲，单个人物或一群人的人物重检索是从不同的场景中匹配一个人物或一群人物。这些人物的图像都是从无重叠视域的分布式电子眼中得到的，尤其是对于随处可见的监控视频的应用，一个电子眼中得到的人物特征需要和另一个或多个其它不同地方的电子眼中的人物特征进行对比，在对比的过程中，可能有各种各样与该人物特征相似但却不是该人物的特征出现在其它的电子眼中。在不同光照条件、遮挡程度和其它变化条件下，每个电子眼中的图像都可能从不同的角度和距离、不同的静态背景和动态背景进行拍摄。在这种情况下，想要在大量的电子眼网络中依靠人工方式进行人物重检索不仅成本巨大而且精确度也不高，执行者经常需要同时安排多个电子眼而不是一个监控显示器。甚至，即使只有一个显示器也不可避免的分散精力，更重要的是，这种方式的性能是由执行者的个人经验在内的因素决定的。这种经验无法直接在不同的执行者之间传递，并且，由于各个执行者的偏见使得无法获得稳定的性能。

近年来，电子眼网络的公共空间日益增加，这更进一步使得人工方法的视频人物重检索无法实现。因此，研发智能人物重检索系统成为计算机视觉领域越来越迫切的需求。真正的人物重检索系统的目的是：当一个人物从不同的电子眼的视域内穿过时，系统能够自动准确的匹配和追踪这个人物。

随着计算机视觉领域较快的发展，尤其是语音检索、人脸检索和掌纹检索等生物检索技术的发展给人物重检索问题的解决提供了一定的技术支持。但视频图像人物重检索问题和这些检索技术不同，人物重检索还有以下几个难点：首先，人物重检索问题不同于商业应用的视频检索，目前商业网络中的视频检索主要依靠用户或视频的描述文字产生的关键词标签进行检索，人物重检索问题则缺乏与视频对应的文字描述或者关键词标签，因而主要通过基于视频内容的分析和对比来进行检索，相比于语义明确的文本描述，底层的音视频特征对于视频内容的表征能力非常有限，二者之间存在着较大的差距；其次，现有技术的基于内容的视频检索针对的是视频中的某一类事物或动作，而很少涉及到这一类事物中的某个特定目标，但在实际的应用中，恰恰对于视频中特定目标的检索最为关注；最后，由于在拍摄过程中视频画面容易受到视角、光线和尺度等变化和画质分辨率较差等因素的影响，难以提取人脸等生物特征。由于上述这些原因，使得视频图像人物重检索问题比一般的视频检索更加具有挑战性。

现有技术的人物重检索方法一般都是先提取人物图像的特征，然后在此基础上，对提取的特征计算相似度或学习距离度量。但由于人物重检索问题中存在同一个人的两张图像相似度小于不同人的图像相似度的情况，并且由于实际环境受到光照、角度和姿态变化的影响，仅采用人物特征不能最大限度的消除这些差异。最近，度量学习方法在计算机视觉开始逐渐应用并取得了不错的效果，但由于现有技术人物重检索算法都对人物图像提取多种特征，然而采用这些特征时并没有考虑不同特征之间的差异，大多数采用多种特征融合的方式。这些方法没有充分利用各种特征包含的内在属性，同时也忽略了不同电子眼之间的差异。

完整的人物重检索过程包含一系列的工作，其中主要包括对视频内容进人物体提取、对检测到的人物图像进行特征提取、最后对特征进行相似性度量。作为人物重检索过程的预处理工作，人物提取效果将会对随后的人物重检索过程产生非常大的影响。人物提取的主要目的是从视频中判断区域内的像素是否属于人体目标，人物提取过程主要分为运动目标检测和人物检测两个部分。但由于本发明的重点是对人物进行重检索，人体提取工作虽然重要，但并非本发明的重点。因此，本发明从已经完成人体提取工作之后开始讨论，从人物重检索问题的特点可知，由于不同电子眼之间的视角、光照、背景和遮挡等存在较大差异，因此，同一个人的外貌在不同电子眼中也会有较大变化，这样就可能导致不同人的图像看起来比同一个人在两个不同电子眼中的图像更相似。现有技术关于人物重检索问题的研究主要集中在以下两个方面:一是专注于对人物的特征表示，研究如何提取更具有鲁棒性的视觉特征对人物目标进行表示；二是专注人物特征间的距离度量学习，通过学习一个有判别力的距离度量，使得处于这个距离度量中的同一人物的图像间距离要小于不同人物的图像间距离，从而实现人物身份的检索。

在基于视觉特征表示的方法中，一般使用图像描述子进行人物目标比较，这些图像描述子对人物重检索方法的整体性能具有非常重要的作用，基于特征表示的方法大致分为两类：基于底层视觉特征的方法和基于学习的方法。

基于底层视觉特征的方法不考虑多人的训练集，而是主要利用人体结构约束提取特征或者进行特征学习，然后使用标准距离(如曼哈顿距离、欧氏距离和马氏距离等)进行相似性度量。这类方法将重点放在设计最具有鉴别能力的特征上，由于底层视觉特征容易提取和表示，因此许多研究都试图利用人体的结构约束得到更准确的特征。现有技术的各种方法中的特征都可以利用对称和非对称轴从人物图像中获得，但基于底层视觉特征的方法本身对外界因素(如光照、姿态和视角等)敏感，当这些外界因素发生明显变化时，这类方法提取的特征的鲁棒性就会明显下降，进而影响检索率。

基于学习的方法将特征及对这些特征的约束进行结合，然后通过训练得到某种特征，但这类方法一般都有这样一个假设：从训练样本中学到的特征也适用于其它未被训练的样本，基于学习的方法本身也存在着许多缺点，这类方法需要考虑环境因此的影响，例如，白天和夜晚，室内和室外，一些基于学习的方法太依赖训练集，如果某个新的人物目标加入到基准集中，这类方法还需要将该目标加入训练集中重新再训练。

基于特征表示的方法主要目的是为了能够非常稳定或鲁棒的表示人物特征的方法，但同一人物穿过无重叠区的两个电子眼时，其外貌特征容易受光照、姿态和视角变化等外界因素影响。同时，标准距离度量对每一种特征都平等对待，无法选择性抛弃那些独立使用时效果很差的特征。因此，现有技术尝试使用距离度量学习的方法，这种方法的主要思想是通过学习获得一个最优的距离度量空间，使得在这个空间内同一个人物的不同图像的距离小于不同人物间的距离，但现有技术的方法在进行距离度量函数学习时，对样本的约束是与同类样本距离最小化，而与不同类样本距离最大化，该方法考虑的是相对约束，即对于每个样本，选择一个与其同类的样本和不同类的样本组成三元组，在进行距离度量函数学习时，要求同类样本之间的距离小于不同类样本之间的距离。

现有技术的视频图像人物检索方法存在诸多不足，现有技术的难点和本发明解决的问题主要集中在以下方面：

第一，由于人物重检索问题所处的实际环境变化很大，而且变化非常不稳定，这些因素导致在解决人物重检索问题时面临着诸多的挑战，单个人物或一群人的人物重检索是从不同的场景中匹配一个人物或一群人物，这些人物的图像都是从无重叠视域的分布式电子眼中得到的，在对比的过程中，可能有各种各样与该人物特征相似但却不是该人物的特征出现在其它的电子眼中，在不同光照条件、遮挡程度和其它变化条件下，每个电子眼中的图像都可能从不同的角度和距离、不同的静态背景和动态背景进行拍摄，想要在大量的电子眼网络中依靠人工方式进行人物重检索不仅成本巨大而且精确度也不高，执行者经常需要同时安排多个电子眼而不是一个监控显示器，即使只有一个显示器也不可避免的分散精力，这种方式的性能是由执行者的个人经验在内的因素决定的，这种经验无法直接在不同的执行者之间传递，并且由于各个执行者的偏见使得无法获得稳定的性能；

第二，视频图像人物重检索还有以下几个难点：一是人物重检索问题不同于商业应用的视频检索，缺乏与视频对应的文字描述或者关键词标签，因而主要通过基于视频内容的分析和对比来进行检索，相比于语义明确的文本描述，底层的音视频特征对于视频内容的表征能力非常有限，二者之间存在着较大的差距；二是现有技术的基于内容的视频检索针对的是视频中的某一类事物或动作，而很少涉及到这一类事物中的某个特定目标，但在实际的应用中，恰恰对于视频中特定目标的检索最为关注；三是由于在拍摄过程中视频画面容易受到视角、光线和尺度等变化和画质分辨率较差等因素的影响，难以提取人脸等生物特征，亟需一种专门针对该问题的解决方案；

第三，现有技术的人物重检索方法一般都是先提取人物图像的特征，然后在此基础上，对提取的特征计算相似度或学习距离度量，但由于人物重检索问题中存在同一个人的两张图像相似度小于不同人的图像相似度的情况，并且由于实际环境受到光照、角度和姿态变化的影响，仅采用人物特征不能最大限度的消除这些差异，由于现有技术人物重检索算法都对人物图像提取多种特征，然而采用这些特征时并没有考虑不同特征之间的差异，大多数采用多种特征融合的方式，这些方法没有充分利用各种特征包含的内在属性，同时也忽略了不同电子眼之间的差异；

第四，基于底层视觉特征的方法不考虑多人的训练集，但基于底层视觉特征的方法本身对外界因素(如光照、姿态和视角等)敏感，当这些外界因素发生明显变化时，这类方法提取的特征的鲁棒性就会明显下降，进而影响检索率；基于学习的方法将特征及对这些特征的约束进行结合，然后通过训练得到某种特征，但这类方法需要考虑环境因此的影响，例如，白天和夜晚，室内和室外，一些基于学习的方法太依赖训练集，如果某个新的人物目标加入到基准集中，这类方法还需要将该目标加入训练集中重新再训练；基于特征表示的方法主要目的是为了能够非常稳定或鲁棒的表示人物特征的方法，但同一人物穿过无重叠区的两个电子眼时，其外貌特征容易受光照、姿态和视角变化等外界因素影响，同时，标准距离度量对每一种特征都平等对待，无法选择性抛弃那些独立使用时效果很差的特征。

发明内容

针对现有技术的不足，本发明基于图像中不同种类的特征之间存在差异，不同特征之间投影到相应的空间中才能更好的保留特征中的原有属性，将色彩特征和纹理特征分别进行考虑，对两个不同的电子眼中的同一种特征进行度量学习，最终得到两个距离度量，即色彩距离度量和纹理距离度量，将两个电子眼中的色彩特征均投影到色彩距离度量中，将两个电子眼中的纹理特征投影到纹理距离度量中，通过对电子眼差异问题的分析和研究，找到新的人物重检索方法，从而提高实际监控视频环境下人物重检索算法的性能，当一个人物从不同的电子眼的视域内穿过时，系统能够自动准确的匹配和追踪这个人物。

为达到以上技术效果，本发明所采用的技术方案如下：

多重特征驱动的相似度量学习人物检索法，基于人物重检索问题中视角、光照和姿态因素的影响，同一幅图像的不同种类特征具有不同的统计特征和变化规律，分别解析色彩特征和纹理特征，从统计推断的角度为每一种特征学习一个距离度量，更好的保留不同特征中的原有特征，同时，相似度度量学习过程中能够直接得到解析解，时间复杂度降低；

本发明主要是从色彩特征和纹理特征的角度进行考虑，将两个不同的电子眼中的同种特征进行约束，使得两个电子眼中的色彩特征共同学习获取一个色彩度量空间，纹理特征也学习得到一个纹理度量空间，这两个距离度量空间都是针对各自的特征学习得到的，色彩度量空间中的数据能够更好的保留色彩特征的某些特性和信息，同样，纹理度量空间中的数据能够更好的保留纹理特征的特性和信息，在进行检索的过程中，将不同的特征投影到对应的距离度量空间中，然后再进行检索任务；

多重特征驱动的相似度量学习人物检索法包括：一是多重特征的相似度量学习架构，二是基于多重特征的人物检索目标函数，三是目标函数求解驱动人物检索；本发明提出基于多重特征的相似度量学习人物重识别法，并提出该算法的目标函数及求解过程，基于图像中不同种类的特征之间存在差异，不同特征之间投影到相应的空间中才能更好的保留特征中的原有属性，本发明将色彩特征和纹理特征分别进行考虑，对两个不同的电子眼中的同一种特征进行度量学习，最终得到两个距离度量，即色彩距离度量和纹理距离度量，将两个电子眼中的色彩特征均投影到色彩距离度量中，将两个电子眼中的纹理特征投影到纹理距离度量中，基于双重特征的度量学习算法充分考虑到电子眼中不同种类特征之间的差异。

多重特征驱动的相似度量学习人物检索法，进一步的，多重特征的相似度量学习架构：考虑电子眼中不同特征之间的差异，根据两个电子眼中不同种类的特征，分别为每种特征学习一个距离度量，使两个电子眼中同类的特征投影到相同的度量空间中进行计算；

在相似度量学习训练阶段，利用两个电子眼中的同类特征进行度量学习，即电子眼A中的色彩特征与电子眼B中的色彩特征共同学习，获得一个色彩特征的距离度量；同样，电子眼A中的纹理特征与电子眼B中的纹理特征共同学习，获得一个纹理特征的距离度量，此时学习到的两个距离度量反映电子眼中不同种类特征之间的差异；

在人物检索阶段，对基准样本和检索样本均提取色彩特征和纹理特征，然后分别将这两类特征投影到色彩度量空间和纹理距离空间中，在这两个度量空间中分别计算检索样本与每个基准样本的两类特征的欧式距离，将一个检索样本与一个基准样本的两类特征的欧式距离相加，得到的和就是检索样本与该基准样本的距离，同样，再计算检索样本与其它基准样本的距离，最后把检索样本划分到距离最小的基准样本类别中。

多重特征驱动的相似度量学习人物检索法，进一步的，基于多重特征的人物检索目标函数：从统计推断的角度驱动度量学习，分别对色彩特征和纹理特征学习一个距离度量，学习的框架和过程均相同，但是特征种类不同，本发明只记载其中一种特征空间上进行度量学习的具体过程，其它的度量学习过程相同，只需将学习时的输入数据更换成相应的特征即可。

多重特征驱动的相似度量学习人物检索法，进一步的，用

多重特征驱动的相似度量学习人物检索法，进一步的，目标函数求解驱动人物检索：将目标函数放到均值为零的差分对

其中，g(x

其中，y

即

多重特征驱动的相似度量学习人物检索法，进一步的，本发明中的差分

式6中常数项仅起到偏移量的作用，将式6继续简化成如下形式：

由

其中，

多重特征驱动的相似度量学习人物检索法，进一步的，目标函数的求解过程是样本对

多重特征驱动的相似度量学习人物检索法，进一步的，多重特征提取方法：色彩特征和纹理特征是人物重检索方法的两种核心特征，用HSV特征作为图像的色彩特征，用LBP特征作为图像的纹理特征，两种特征从不同角度表示一个人物图像的特征，提取特征采用如下方式：对于每一幅图像覆盖多个大小相同的矩形框，提取特征时，同时提取四个矩形框中的图像特征，这四个矩形框按照上下两行各两个矩形框的方式分布，同时，每次再提取特征时，提取的图像区域覆盖上一次图像区域的50％，将提取的局部区域内的色彩特征和纹理特征分别组成一个特征向量，形成色彩特征和纹理特征，同重叠覆盖的区域中提取不同的HSV,LBP特征，然后分别把色彩特征和纹理特征拼接成一个向量。

多重特征驱动的相似度量学习人物检索法，进一步的，在VIPeR数据库上进行特征提取之前，首先将该数据库中的所有图像归一化为48×128大小，对于在每个数据库上运行的程序均采用特征提取方法提取HSV和LBP特征，最终将HSV和LBP特征分别进行PCA降至200维以避免产生维度问题，在运行对比算法时，将得到的每个图像的色彩特征和纹理特征组合成一个特征向量，最终结果通过CMC曲线图呈现，曲线图表示在前t个排序中存在真正匹配样本的概率，将本发明方法与对比方法都呈现在CMC曲线图中，检索率是经过30次随机试验之后平均识别率，并且曲线图中显示的是前50个排序的检索率对比结果。

与现有技术相比，本发明的贡献和创新点在于：

第一，视频图像人物重检索是在多电子眼监控系统中，判断在某一个电子眼中出现过的人物是否在另一个电子眼中再次出现的过程，可应用于人物追踪和远程监控等领域，但由光照、视角、背景和遮挡等因素引起的不同电子眼之间人物外貌特征的显著变化，使得人物重检索问题面临巨大的挑战，现有技术不考虑不同特征之间的变化差异，将所有特征融合成一个特征向量或将所有特征投影到一个公共空间中，这些方法没有充分利用各种特征包含的内在属性，本发明基于人物重检索问题中视角、光照和姿态因素的影响，同一幅图像的不同种类特征具有不同的统计特征和变化规律，分别解析色彩特征和纹理特征，从统计推断的角度为每一种特征学习一个距离度量，更好的保留不同特征中的原有特征，同时，相似度度量学习过程中能够直接得到解析解，检索成本大幅降低，精确度明显提高，方法时间复杂度很低；

第二，本发明提出基于多重特征的相似度量学习人物重识别法的目标函数及求解过程，基于图像中不同种类的特征之间存在差异，不同特征之间投影到相应的空间中才能更好的保留特征中的原有属性，本发明将色彩特征和纹理特征分别进行考虑，对两个不同的电子眼中的同一种特征进行度量学习，最终得到两个距离度量，即色彩距离度量和纹理距离度量，将两个电子眼中的色彩特征均投影到色彩距离度量中，将两个电子眼中的纹理特征投影到纹理距离度量中，通过对电子眼差异问题的分析和研究，找到新的人物重检索方法，从而提高实际监控视频环境下人物重检索算法的性能，当一个人物从不同的电子眼的视域内穿过时，系统能够自动准确的匹配和追踪这个人物；

第三，本发明与其它度量学习算法相比在检索率上有较大程度的提高，虽然在t＝1时，本发明与对比方法相差不大，但随着t的增大，本发明相比于对比算法有了明显提高，因为两个电子眼中的色彩特征和纹理特征服从不同的变化规律，对比方法在学习距离度量的过程中，将所有特征融合成一个全局特征，忽略了各个特征所包含的内在属性，由于本发明在原来度量学习算法的基础对人物特征进行了进一步的区分，将不同的特征投影到对应的度量空间中，尽可能考虑实际环境中光照、角度和姿态等因素对图像影响的差异，与同类度量学习方法相比，本发明更为优越；

第四，本发明针对多重特征驱动的相似度量学习人物检索法进行平均检索率和时间复杂度的实验，通过在二个典型的人物重检索数据库上与现有技术流行的几种算法的实验，验证本发明的效果，本发明在平均检索率上比所有对比算法的检索率高，本发明的平均检索率有较大提高，也能够在较短的时间内训练完成，本发明的时间复杂度也是其显著优势，本发明提出的算法之所以好于对比算法，是由于本发明在原来度量学习算法的基础对人物特征进行了进一步的区分，将不同的特征投影到对应的度量空间中，尽可能考虑到实际环境中光照、角度和姿态等因素对图像影响的差异，但本发明方法依然表现出优越的性能，说明本发明方法具有更高的鲁棒性。

附图说明

图1是本发明多重特征驱动的相似度量学习的训练过程示意图。

图2是多重特征驱动的相似度量学习的人物检索过程示意图。

图3是本发明特征提取方法的全局特征描述流程图。

图4是VIPeR数据库上运行三十次后的平均检索率曲线图。

图5是PRID数据库上运行三十次后的平均检索率曲线图。

具体实施方式

下面结合附图，对本发明提供的多重特征驱动的相似度量学习人物检索法的技术方案进行进一步的描述，使本领域的技术人员能够更好的理解本发明并能予以实施。

人物重检索是在多电子眼监控系统中，判断在某一个电子眼中出现过的人物是否在另一个电子眼中再次出现的过程。人物重检索可应用于人物追踪和远程监控等领域。但由光照、视角、背景和遮挡等因素引起的不同电子眼之间人物外貌特征的显著变化，使得人物重检索问题面临巨大的挑战。现有技术一般不考虑不同特征之间的变化差异，将所有特征融合成一个特征向量或将所有特征投影到一个公共空间中，这些方法没有充分利用各种特征包含的内在属性。

本发明提出一种多重特征驱动的相似度量学习人物检索方法，基于人物重检索问题中视角、光照和姿态因素的影响，同一幅图像的不同种类特征具有不同的统计特征和变化规律，分别解析色彩特征和纹理特征，从统计推断的角度为每一种特征学习一个距离度量，更好的保留不同特征中的原有特征，同时，相似度度量学习过程中能够直接得到解析解，方法时间复杂度很低。

多重特征驱动的相似度量学习人物检索法包括：一是多重特征的相似度量学习架构，二是基于多重特征的人物检索目标函数，三是目标函数求解驱动人物检索，四是实验及结果分析。

一、多重特征的相似度量学习架构

本发明考虑电子眼中不同特征之间的差异，根据两个电子眼中不同种类的特征，分别为每种特征学习一个距离度量，使两个电子眼中同类的特征投影到相同的度量空间中进行计算，多重特征驱动的相似度量学习的训练过程和人物检索过程分别如图1和图2所示。

如图1所示，在相似度量学习训练阶段，利用两个电子眼中的同类特征进行度量学习，即电子眼A中的色彩特征与电子眼B中的色彩特征共同学习，获得一个色彩特征的距离度量；同样，电子眼A中的纹理特征与电子眼B中的纹理特征共同学习，获得一个纹理特征的距离度量，此时学习到的两个距离度量反映电子眼中不同种类特征之间的差异。

如图2所示，在人物检索阶段，对基准样本和检索样本均提取色彩特征和纹理特征，然后分别将这两类特征投影到色彩度量空间和纹理距离空间中，在这两个度量空间中分别计算检索样本与每个基准样本的两类特征的欧式距离，将一个检索样本与一个基准样本的两类特征的欧式距离相加，得到的和就是检索样本与该基准样本的距离，同样，再计算检索样本与其它基准样本的距离，最后把检索样本划分到距离最小的基准样本类别中。

二、基于多重特征的人物检索目标函数

本发明从统计推断的角度驱动度量学习，分别对色彩特征和纹理特征学习一个距离度量，学习的框架和过程均相同，但是特征种类不同，本发明只记载其中一种特征空间(如电子眼A和电子眼B的色彩特征空间)上进行度量学习的具体过程，其它的度量学习过程相同，只需将学习时的输入数据更换成相应的特征即可。

用

本发明从统计推断的角度进行解析，将样本对

三、目标函数求解驱动人物检索

将目标函数放到均值为零的差分对

其中，g(x

其中，y

即

本发明中的差分

式6中常数项仅起到偏移量的作用，将式6继续简化成如下形式：

由

其中，

上述目标函数的求解过程是样本对

本发明提出基于多重特征的相似度量学习人物重识别法，并提出该算法的目标函数及求解过程，基于图像中不同种类的特征之间存在差异，不同特征之间投影到相应的空间中才能更好的保留特征中的原有属性，本发明将色彩特征和纹理特征分别进行考虑，对两个不同的电子眼中的同一种特征进行度量学习，最终得到两个距离度量，即色彩距离度量和纹理距离度量，将两个电子眼中的色彩特征均投影到色彩距离度量中，将两个电子眼中的纹理特征投影到纹理距离度量中，基于双重特征的度量学习算法充分考虑到电子眼中不同种类特征之间的差异，在实验部分验证该方法的性能。

四、实验及结果分析

将多重特征驱动的相似度量学习人物检索法在VIPeR数据库、PRID数据库上做相应的实验，将本发明提出的方法分别与现有技术较为流行的几种检索方法通过实验进行对比，对比方法分别为：基于最大近邻分类间隔LMNN、基于逻辑鉴别度量学习LDML、高效基于入侵者的度量学习EIML、基于简单且直接的度量WISSME和相对距离比较RDC，通过将本发明所提方法与所有对比方法的CMC曲线图及对应的平均检索率表显示本发明的性能。

(一)多重特征提取方法

色彩特征和纹理特征是人物重检索方法的两种核心特征，用HSV特征作为该数据库中图像的色彩特征，用LBP特征作为该数据库中图像的纹理特征，两种特征从不同角度表示一个人物图像的特征，提取特征采用如下方式：对于每一幅图像覆盖多个大小相同的矩形框，提取特征时，同时提取四个矩形框中的图像特征，这四个矩形框按照上下两行各两个矩形框的方式分布，同时，每次再提取特征时，提取的图像区域覆盖上一次图像区域的50％，将提取的局部区域内的色彩特征和纹理特征分别组成一个特征向量，形成色彩特征和纹理特征。具体方法如图3所示，同重叠覆盖的区域中提取不同的HSV,LBP特征，然后分别把色彩特征和纹理特征拼接成一个向量。

在VIPeR数据库上进行特征提取之前，首先将该数据库中的所有图像归一化为48×128大小，为更公平的验证方法效果，对于在每个数据库上运行的程序均使用图3中的特征提取方法提取HSV和LBP特征，最终将HSV和LBP特征分别进行PCA降至200维以避免产生维度问题，由于没有将色彩特征和纹理特征分开处理，所有在运行对比算法时，将得到的每个图像的色彩特征和纹理特征组合成一个特征向量，最终结果通过CMC曲线图呈现，曲线图表示在前t个排序中存在真正匹配样本的概率，将本发明方法与对比方法都呈现在CMC曲线图中，检索率是经过30次随机试验之后平均识别率，并且曲线图中显示的是前50个排序的检索率对比结果。

(二)VIPeR数据库实验设置及结果分析

VIPeR数据库中包含从两个不同电子眼中得到的648个人的人物图像对，每个人物在两个电子眼中各有一幅图像，每个人物的两张图像最普遍的特点是视角、光照和姿态外观特征的变化，VIPeR数据库中的样本图像中，第一行图像表示某个电子眼中的图像，第二行图像表示另一个电子眼中的图像，其中，每一列的两张图像表示同一个人物的两张图像，实验前所有的图像都被设置成大小为128×48的尺寸。

将648个人物图像对随机分成两个集合，每个集合均有324个人物图像对，一个集合用于训练，另一个用于测试,测试时将图像对中的两张图像随机用于测试和训练，选择检索样本集中的一个样本与训练样本集中的每一个样本进行匹配，直到检索样本集中的每一个图像都和训练样本集中的图像匹配一遍为止。

VIPeR数据库上的检索率实验：将本发明多重特征驱动的相似度量学习人物检索法与所有的对比方法都采用随机挑选训练样本的方式运行30次，然后求平均值，对比平均检索率进行算法性能的对比的实验。

图4给出了多重特征驱动的相似度量学习人物检索法与所有对比算法的平均检索率图。从图4可以直观的看出，本发明与其它度量学习算法相比在检索率上有较大程度的提高。虽然在t＝1时，本发明与对比方法相差不大，但随着t的增大，本发明相比于对比算法有了明显提高。

产生图4的结果是因为两个电子眼中的色彩特征和纹理特征服从不同的变化规律，对比方法在学习距离度量的过程中，将所有特征融合成一个全局特征，忽略了各个特征所包含的内在属性，由于本发明在原来度量学习算法的基础对人物特征进行了进一步的区分，将不同的特征投影到对应的度量空间中，尽可能考虑实际环境中光照、角度和姿态等因素对图像影响的差异，与同类度量学习方法相比，本发明更为优越。

(三)PRID数据库实验设置及结果分析

PRID数据库由两个固定电子眼中的人物图像构成，实验只使用每个人物在每个电子眼中各有一幅图像的图像集，这个数据库中最大的挑战就是视角和姿态的变化，光照、背景和摄像机本身性能都有显著的变化，其中一个电子眼A包含391个人物，另一个电子眼包含752个人物，其中这些人物中有198个人物都存在于两个电子眼中。因此，在本数据库中有198个人物图像对，数据库中许多图像都受到了光照和姿态变化甚至遮挡的影响。

样本图像中许多人物携带着挎包或行李箱，人物的这些附属物品和携带物，一方面比较明显，容易辨别和区分，对于人物重检索是有利的；但另一方面，这些行李箱等物品对人物进行了遮挡，因此又不利于人物重检索。另外，数据集中图像质量各不相同，比如图像受到分辨率、视角缩放及噪声等因素的影响，对人物重检索造成了极大的困难。进行实验前，所有图像都被设置成大小为128×48的尺寸，实验过程中，将198个人物图像对随机平均分成两个集合，一个作训练集，另一个作测试集。在测试阶段，把A电子眼中剩余的图像集作为基准样本，把B电子眼中所有剩余图像作为检索样本，在基准样本集中有98个人物图像，而在检索样本集中有637个人物图像。

PRID数据库上的检索率实验：将本发明与所有的对比方法都采用随机挑选训练样本的方式运行30次，然后求平均值。从而对比平均检索率进行算法性能的对比实验。

图5给出了基于双重特征的度量学习算法与所有对比算法随机30次的平均检索率图。从图5可以直观的看出，本发明与其它度量学习算法相比在检索率上有较大提高，虽然在t＝1时，本发明与对比方法相差不大，但随着t的增大本发明相比于对比算法有了稳步提高。

通过对比图4和图5两幅CMC曲线图，发现各个方法的变化趋势基本上没有变化，仅仅是在PRID上的检索率比VIPeR上的更低一些，通过观察两个数据库中的样本图像得出，两个数据库中的人物图像分布情况大致相似，只是VIPeR库中图像的拍摄角度接近水平方向，而PRID库中图像拍摄角度较高，人物特征较模糊。所以，在PRID上的检索率比VIPeR上的更低。但本发在这两个库上依然比所有对比方法的检索率高。

本发明提出的算法之所以高于对比算法，是由于本发明在原来度量学习算法的基础对人物特征进行了进一步的区分，将不同的特征投影到对应的度量空间中，尽可能考虑到实际环境中光照、角度和姿态等因素对图像影响的差异，尽管在PRID库中的图像拍摄角度偏高，但本发明方法依然表现出优越的性能，说明本发明方法具有更高的鲁棒性。

(四)时间复杂度实验及结果分析

在人物重检索领域，评价算法的标准除了检索率外，还应参考该算法的时间复杂度。由于本发明属于学习类型的算法，在训练过程中都有学习的过程，这就不可避免的将算法的时间复杂度作为一个评价标准，为了能够清晰的比较本发明与所有对比算法的时间复杂度，将本发明与所有对比算法进行比较，VIPeR数据库中人物个数较多，并且同一个人物的两张图像无论是在光照变化还是角度和姿态变化方面都较大，VIPeR数据库更符合真实环境中的人物重检索所需的条件，因此，仅在VIPeR数据库上进行时间复杂度测试，所有方法均随机选取VIPeR数据库中316个人物图像对作为训练样本，只计算每个算法从输入所需特征到最后获得度量矩阵或字典之间的时间，不包括特征提取和测试阶段的时间。

所有方法在VIPeR数据库上的训练时间可以看出，本发明训练时间是0.08s，时间最短的对比算法WISSME训练时间为0.03s，训练时间均小于其它对比算法，这主要是本发明和WISSME算法最终都是得到解析解，从目标函数可以化简得到度量矩阵N，不需要像其它对比方法一样迭代求解，因此，本发明也能够在较短的时间内训练完成，该方法的时间复杂度也是其显著优势。

本发明针对多重特征驱动的相似度量学习人物检索法进行平均检索率和时间复杂度的实验。通过在二个典型的人物重检索数据库上与现有技术流行的几种算法的实验，验证本发明的效果，本发明在平均检索率上比所有对比算法更优越，本发明的平均检索率有较大提高，时间复杂度也保持在合理区间。

五、发明点总结

在计算机视觉领域中，大多数的人物检索算法都是将人物影像的多种特征融合成一个特征向量，然后进行人物检索。但每一张图像内的不同特征包含图像的不同特性和信息，每一种特征都拥有自己的统计特性，这些特性和信息都从不同的角度展示图像包含的内容，可以通过这些不同的特征之间的关系来获取更多的鉴别信息，现有技术将各类多种特征直接进行融合，形成一个特征向量，但这类方法忽略了各类特征的多样性和差异，无法有效的利用它们的鉴别信息。在实际的行人再鉴识问题中，色彩特征和纹理特征是最普遍使用的特征，并且也是最容易受到外界因素的影响的两种特征。所以，本发明主要是从色彩特征和纹理特征的角度进行考虑，通过对每一幅图像提取多种特征来获得更多鉴别的信息，然后从这些多种特征中学习距离度量，这样就能够比从单一特征进行学习获得更多的鉴别信息，由于不同种类的特征具有不同的特征，如果把所有的特征融合学习一个公共度量，就忽视了不同种类的特征之间的差异，在实际的人物重检索问题中，色彩特征和纹理特征是最普遍使用的特征，并且也是最容易受到外界因素影响的两种特征，所以，本发明主要从色彩特征和纹理特征的角度，对不同种类的特征学习不同的度量空间思想，对每一幅图像提取的是两种特征(色彩特征和纹理特征)，在训练的过程中，对两个电子眼中的色彩特征共同学习一个距离度量，对两个电子眼中的纹理特征共同学习另一个距离度量，这样学习得到的两个距离度量中保留了特征的原有属性。

本发明提出了多重特征驱动的相似度量学习人物检索法，即将两个不同的电子眼中的同种特征进行约束，使得两个电子眼中的色彩特征共同学习获取一个色彩度量空间，纹理特征也学习得到一个纹理度量空间，这两个距离度量空间都是针对各自的特征学习得到的。因此，色彩度量空间中的数据能够更好的保留色彩特征的某些特性和信息，同样，纹理度量空间中的数据能够更好的保留纹理特征的特性和信息。这样，在进行检索的过程中，将不同的特征投影到对应的距离度量空间中，然后再进行检索任务。实验证明，该方法不仅平均检索率比所有对比方法高，而且，算法运行时间也很短。