一种基于DCCA融合特征的行人重识别方法

摘要

本发明公开了一种基于DCCA融合特征的行人重识别方法，具体按照如下步骤实施：对行人再识别数据集进行预处理，将图像大小调整至合适大小；对与处理后的行人数据集基于vgg16深度卷积神经网络和omni‑scale深度卷积神经网络分别进行深度特征提取；对提取的深度特征做典型相关性分析，求解各自的投影矩阵，将投影后的特征根据特征融合策略进行特征融合；用融合后的特征完成整个行人重识别过程。本发明的一种基于DCCA融合特征的行人重识别方法，结合vgg16和omni‑scale深度网络的优势，提高了特征鲁棒性，融合特征的同时，有效地消除了冗余信息，提高特征判别能力，提高行人重识别的准确率。

说明书

技术领域

本发明属于计算机视觉技术领域，涉及一种基于DCCA融合特征的行人重识别方法。

背景技术

行人重识别是计算机视觉领域近些年来一个非常热门的研究课题，可以被视为一个图像检索的子问题，是利用计算机视觉技术在图像或者视频中检索特定行人的技术。即预先给定一个感兴趣的行人图像，在不重叠的监控设备中将其寻找出来。该任务应用在智能监控、犯罪刑侦等领域。

传统方法主要从以下两个方面入手解决行人重识别问题：1设计人工特征，该方法旨在提取具有鲁棒性的特征对行人进行表征，2学习更好的距离度量函数，其目的在于学习两张图像之间的相似度。行人再识别上的应用通常是在特征表示的基础上，通过学习一个具有较强判别力的距离度量函数利用特征间的相似度对行人图像之间的相似性做出判别，使得同一行人之间的距离尽可能的小，不同行人之间的距离尽可能的大。随着深度学习出现，以CNN为代表的性的算法(Convolutional Neural Network，卷积神经网络)在计算机视觉领域大放异彩，尤其是在国际知名的ImageNet图像分类大赛上，更是印证了深度神经网络有着良好的识别效率。以卷积神经网络为代表，其可以对于输入的图像自动关注重要区域，提取不同网络层的特征，相比较传统人工特征而言更有表现力。目前基于深度学习的方法一般以端到端的方式完成行人重识别过程，该过程将网络自动提取图像特征以及特征之间的相似度匹配一次完成，然而由于端到端的方式，可能会造成特征的冗余性以及特征维数较高。

发明内容

本发明的目的是提供一种基于DCCA融合特征的行人重识别方法，结合vgg16网络和omni-scale网络的优势，提高了特征鲁棒性，融合特征的同时，一定程度消除了冗余信息，提高特征鉴别力，提高行人重识别的准确率。

本发明所采用的技术方案是，一种基于DCCA融合特征的行人重识别方法，具体按照如下步骤实施：

步骤1，对行人再识别数据集进行预处理，将图像大小调整至合适大小；

步骤2，对与处理后的行人数据集基于vgg16深度卷积神经网络和omni-scale深度卷积神经网络分别进行深度特征提取；

步骤3，对提取的深度特征做典型相关性分析，求解各自的投影矩阵，将投影后的特征根据特征融合策略进行特征融合；

步骤4，用融合后的特征完成整个行人重识别过程。

本发明的特征还在于，

行人再识别数据集选用market1501数据集，将数据集分为训练集train和测试集，测试集包含查询集probe和候选集gallery两部分。

将训练集train和测试集中的行人再识别图像均分别调整为224×224像素大小和256×128像素大小。

步骤2具体为：

步骤2.1，构建vgg16深度卷积神经网络模型，vgg16深度卷积神经网络模型包括依次连接的十三层卷积层，最后一层卷积层的输出依次连接有三层全连接层；

步骤2.2，构建omni-scale深度卷积神经网络模型，omni-scale深度卷积神经网络模型包括依次连接的五层卷积层，最后一层卷积层的输出依次连接有两层transition层，最后一层transition层的输出连接有一层全连接层；

步骤2.3，迁移在ImageNet数据集上分别训练步骤2.1构建的vgg16深度卷积神经网络模型和步骤2.2构建的omni-scale深度卷积神经网络模型的预训练权重参数；

步骤2.4，将图像像素大小为224×224的训练集train和图像像素大小为256×128的分别输入到经步骤2.3处理的vgg16深度卷积神经网络模型和omni-scale深度卷积神经网络模型中分别对其进行训练，训练时，用预训练权重参数初始化步骤2.1构建的vgg16深度卷积神经网络模型和步骤2.2构建的omni-scale深度卷积神经网络模型的部分权重参数，然后分别提取两个vgg16深度卷积神经网络模型和omni-scale深度卷积神经网络模型最后输出的深度特征分别记为H

步骤2.4中用预训练权重参数初始化步骤2.1构建的vgg16深度卷积神经网络模型和步骤2.2构建的omni-scale深度卷积神经网络模型的部分权重参数，具体为：应用预训练权重参数依次层层对应初始化vgg16深度卷积神经网络模型的前十三层的权重参数，然后将后三层的全连接层权重参数赋予随机值；应用预训练权重参数依次层层对应初始化omni-scale深度卷积神经网络模型的前七层的权重参数，然后将最后一层的全连接层权重参数赋予随机值。

步骤3具体为：

步骤3.1，将H

步骤3.2，计算H

步骤3.3，计算矩阵

步骤3.4，对矩阵T进行奇异值分解，得到最大的奇异值ρ和最大奇异值对应的左右奇异向量u，v；

步骤3.5，计算H

步骤3.6，融合特征表示为

步骤4具体为：

步骤4.1，按照步骤2.4的将查询集probe和候选集gallery中的图像分别输入经步骤2.3处理的vgg16深度卷积神经网络模型和omni-scale深度卷积神经网络模型中分别对其进行训练，并分别提取深度特征，然后按照步骤3的计算查询集probe和候选集gallery对应的融合特征，维度均为r；

步骤4.2，将训练集train训练后的融合特征与对应的训练样本标签作为输入，输入到基于XQDA算法中，输出为子空间映射矩阵W和度量矩阵

步骤4.3，以查询集probe和候选集gallery对应的融合特征代表的行人图像，给定一个查询集probe对应的融合特征，让其与候选集gallery对应的融合特征中的所有特征进行特征之间相似性度量，最终得到相似性排序结果，排序结果由相似性决定，相似度越高，排序结果越靠前，完成识别。

步骤4.3中相似性度量采用马氏距离，将查询集probe和候选集gallery对应的融合特征分别输入到子空间映射矩阵W和度量矩阵

本发明的有益效果是：

本发明基于融合特征行人重识别方法以及CCA(典型相关分析)为基础，结合vgg16和omni-scale深度网络的优势，提高了特征鲁棒性。同时利用DCCA(深度典型相关分析)算法对两种深度进行最大相关性分析，最后选择特征融合策略对两种特征进行融合。本发明的方法分析了不同空间中特征在公共子空间中的最大相关，将两种特征之间的最大相关特征作为判别信息，在融合特征的同时，有效地消除了冗余信息，提高特征判别能力，可一定程度上提高行人重识别的准确率。

附图说明

图1是本发明一种基于DCCA融合特征的行人重识别方法的工作流程图；

图2是本发明一种基于DCCA融合特征的行人重识别方法中vgg16网络提取行人特征过程图；

图3是本发明一种基于DCCA融合特征的行人重识别方法中omni-scale网络提取行人特征过程图；

图4是本发明实施例中bottleneck结构示意图；

图5是本发明实施例中omni-scale深度卷积神经网络模型中Lite3×3结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于DCCA融合特征的行人重识别方法，其流程如图1所示，具体按照如下步骤实施：

步骤1，对行人再识别数据集进行预处理，将图像大小调整至合适大小，所述行人再识别数据集选用market1501数据集，将数据集分为训练集train和测试集，测试集包含查询集probe和候选集gallery两部分；将训练集train和测试集中的行人再识别图像均分别调整为224×224像素大小和256×128像素大小；

步骤2，对与处理后的行人数据集基于vgg16深度卷积神经网络和omni-scale深度卷积神经网络分别进行深度特征提取；具体为：

如图2所示，步骤2.1，构建vgg16深度卷积神经网络模型，vgg16深度卷积神经网络模型包括依次连接的十三层卷积层，最后一层卷积层的输出依次连接有三层全连接层；

如图3所示，步骤2.2，构建omni-scale深度卷积神经网络模型，omni-scale深度卷积神经网络模型包括依次连接的五层卷积层，最后一层卷积层的输出依次连接有两层transition层，最后一层transition层的输出连接有一层全连接层；

步骤2.3，迁移在ImageNet数据集上分别训练步骤2.1构建的vgg16深度卷积神经网络模型和步骤2.2构建的omni-scale深度卷积神经网络模型的预训练权重参数；

步骤2.4，将图像像素大小为224×224的训练集train和图像像素大小为256×128的分别输入到经步骤2.3处理的vgg16深度卷积神经网络模型和omni-scale深度卷积神经网络模型中分别对其进行训练，训练时，用预训练权重参数初始化步骤2.1构建的vgg16深度卷积神经网络模型和步骤2.2构建的omni-scale深度卷积神经网络模型的部分权重参数，然后分别提取两个vgg16深度卷积神经网络模型和omni-scale深度卷积神经网络模型最后输出的深度特征分别记为H

步骤2.4中用预训练权重参数初始化步骤2.1构建的vgg16深度卷积神经网络模型和步骤2.2构建的omni-scale深度卷积神经网络模型的部分权重参数，具体为：应用预训练权重参数依次层层对应初始化vgg16深度卷积神经网络模型的前十三层的权重参数，然后将后三层的全连接层权重参数赋予随机值；应用预训练权重参数依次层层对应初始化omni-scale深度卷积神经网络模型的前七层的权重参数，然后将最后一层的全连接层权重参数赋予随机值；

步骤3，对提取的深度特征做典型相关性分析，求解各自的投影矩阵，将投影后的特征根据特征融合策略进行特征融合；具体为：

步骤3.1，将H

步骤3.2，计算H

步骤3.3，计算矩阵

步骤3.4，对矩阵T进行奇异值分解，得到最大的奇异值ρ和最大奇异值对应的左右奇异向量u，v；

步骤3.5，计算H

步骤3.6，融合特征表示为

步骤4，用融合后的特征完成整个行人重识别过程；具体为：

步骤4.1，按照步骤2.4的将查询集probe和候选集gallery中的图像分别输入经步骤2.3处理的vgg16深度卷积神经网络模型和omni-scale深度卷积神经网络模型中分别对其进行训练，并分别提取深度特征，然后按照步骤3的计算查询集probe和候选集gallery对应的融合特征，维度均为r；

步骤4.2，将训练集train训练后的融合特征与对应的训练样本标签作为输入，输入到基于XQDA算法中，输出为子空间映射矩阵W和度量矩阵

步骤4.3，以查询集probe和候选集gallery对应的融合特征代表的行人图像，给定一个查询集probe对应的融合特征，让其与候选集gallery对应的融合特征中的所有特征进行特征之间相似性度量，最终得到相似性排序结果，排序结果由相似性决定，相似度越高，排序结果越靠前，完成识别，其中，相似性度量采用马氏距离，将查询集probe和候选集gallery对应的融合特征分别输入到子空间映射矩阵W和度量矩阵

实施例

本发明一种基于DCCA融合特征的行人重识别方法，具体按照如下步骤实施：

步骤1，对行人再识别数据集进行预处理，将图像大小调整至合适大小，所述行人再识别数据集选用market1501数据集，将数据集分为训练集train和测试集，测试集包含查询集probe和候选集gallery两部分；将训练集train和测试集中的行人再识别图像均分别调整为224×224像素大小和256×128像素大小；

行人重识别数据集为market1501，在某个夏天在清华大学由6个摄像头(其中5个高清摄像头，1个低清摄像头)拍摄而成，总计拍摄1501个行人、32688个检测到的行人矩形框，每个行人至少由2个摄像头捕获，并且在一个摄像头中可能具有多个图像，训练集包含751人，测试集包含750个人；每个图像都被缩放到了128×48像素大小，为了满足所用深度网络的输入要求，对图片分辨大小进行调整。对于vgg16网络而言，将图片大小调整到224×224，对于omni-scale网络而言，将图片大小调整到256×128；数据集market1501包含了1501个行人，共计32688张图像，将该数据集划分为train(751人)和test(750人)，其中train包含12936张图像，test包含probe和gallery，其中probe包含3368张图像，gallery包含19732张图像；

步骤2，对与处理后的行人数据集基于vgg16深度卷积神经网络和omni-scale深度卷积神经网络分别进行深度特征提取；具体为：

步骤2.1，构建vgg16深度卷积神经网络模型，vgg16深度卷积神经网络模型包括依次连接的十三层卷积层，最后一层卷积层的输出依次连接有三层全连接层；如图2所示，依次经过十三层卷积层与三层全连接层后，特征图的大小依次为：224×224×64、112×112×128、28×28×256、14×14×512、7×7×512、1×1×4096与1×1×751。具体的网络结构参数设置为：第一层卷积层的卷积核大小为3×3×64，步长大小为1×1，填充方式为same；第二层卷积层的卷积核大小为3×3×64，步长大小为1×1，填充方式为same，池化层采用最大池化方式，池化窗口大小为2×2；第三层卷积层的卷积核大小为3×3×128，步长大小为1×1，填充方式为same；第四层卷积层的卷积核大小为3×3×128，步长大小为1×1，填充方式为same，池化层采用最大池化方式，池化窗口大小为2×2；第五层卷积层的卷积核大小为3×3×256，步长大小为1×1，填充方式为same；第六层卷积层的卷积核大小为3×3×256，步长大小为1×1，填充方式为same；第七层卷积层的卷积核大小为3×3×256，步长大小为1×1，填充方式为same，池化层采用最大池化方式，池化窗口大小为2×2；第八层卷积层的卷积核大小为3×3×512，步长大小为1×1，填充方式为same；第九层卷积层的卷积核大小为3×3×512，步长大小为1×1，填充方式为same；第十层卷积层的卷积核大小为3×3×512，步长大小为1×1，填充方式为same，池化层采用最大池化方式，池化窗口大小为2×2；第十一层卷积层的卷积核大小为3×3×512，步长大小为1×1，填充方式为same；第十二层卷积层的卷积核大小为3×3×512，步长大小为1×1，填充方式为same；第十三层卷积层的卷积核大小为3×3×512，步长大小为1×1，填充方式为same，池化层采用最大池化方式，池化窗口大小为2×2；然后将第十三层的特征图拉平，输入全连接层，第十四层全连接层经过Dropout层更新参数时以0.5的概率随机断开输入神经元来更新参数，用来防止过拟合，输出4096个神经元，第十五层全连接层经过Dropout层更新参数时以25％的概率随机断开输入神经元来更新参数，用来防止过拟合，输出4096个神经元，第十六层全连接层根据数据集的类别数设置输出751个神经元；

步骤2.2，构建omni-scale深度卷积神经网络模型，omni-scale深度卷积神经网络模型包括依次连接的五层卷积层，最后一层卷积层的输出依次连接有两层transition层，最后一层transition层的输出连接有一层全连接层；如图3所示，经过卷积层、transition层和全连接层后，特征图大小依次为：128×64×64、64×32×64、64×32×256、32×16×256、32×16×384、16×8×512、1×1×512。具体的网络结构参数设置为：第一层卷积层的卷积核大小为7×7×64，步长为2×2，池化层采用最大池化方式，池化窗口大小为2×2；第二层卷积层包含两个bottleneck块结构，bottleneck结构如图4所示，采用改进的残差块结构，用了4个卷积流分支，其中的Lite3×3结构为深度可分离卷积，如图5所示，深度可分离卷积将标准卷积进行改进，将3×3卷积改为1×1点卷积+3×3深度卷积，减少了网络所要更新的参数。第三层transition层包含一个卷积层和一个平均池化层，卷积层的卷积核的大小为1×1×256，步长大小为1×1，池化层采用平均池化方式，池化窗口大小为2×2，步长大小为2×2；第四层卷积层为包含两个bottleneck块结构；第五层transition层包含一个卷积层和一个平均池化层，卷积层的卷积核的大小为1×1×256，步长大小为1×1，池化层采用平均池化方式，池化窗口大小为2×2，步长大小为2×2；第六层卷积层包含两个bottleneck块结构；第七层卷积层的卷积核大小为1×1×512，步长大小为1×1；第七层fc层根据数据集类别数设置输出751个神经元；

步骤2.3，迁移在ImageNet数据集上分别训练步骤2.1构建的vgg16深度卷积神经网络模型和步骤2.2构建的omni-scale深度卷积神经网络模型的预训练权重参数；迁移学习可以让网络模型有一个良好的初始化参数，加速网络的收敛，提高网络的泛化能力；

步骤2.4，将图像像素大小为224×224的训练集train和图像像素大小为256×128的分别输入到经步骤2.3处理的vgg16深度卷积神经网络模型和omni-scale深度卷积神经网络模型中分别对其进行训练，训练时，用预训练权重参数初始化步骤2.1构建的vgg16深度卷积神经网络模型和步骤2.2构建的omni-scale深度卷积神经网络模型的部分权重参数，即就是：应用预训练权重参数依次层层对应初始化vgg16深度卷积神经网络模型的前十三层的权重参数，然后将后三层的全连接层权重参数赋予随机值；应用预训练权重参数依次层层对应初始化omni-scale深度卷积神经网络模型的前七层的权重参数，然后将最后一层的全连接层权重参数赋予随机值，然后分别提取两个vgg16深度卷积神经网络模型和omni-scale深度卷积神经网络模型最后输出的深度特征分别记为H

步骤3，对提取的深度特征做典型相关性分析，求解各自的投影矩阵，将投影后的特征根据特征融合策略进行特征融合；具体为：

步骤3.1，将H

步骤3.2，计算H

步骤3.3，计算矩阵

步骤3.4，对矩阵T进行奇异值分解，得到最大的奇异值ρ和最大奇异值对应的左右奇异向量u，v；

步骤3.5，计算H

步骤3.6，融合特征表示为

步骤4，用融合后的特征完成整个行人重识别过程；具体为：

步骤4.1，按照步骤2.4的将查询集probe和候选集gallery中的图像分别输入经步骤2.3处理的vgg16深度卷积神经网络模型和omni-scale深度卷积神经网络模型中分别对其进行训练，并分别提取深度特征，然后按照步骤3的计算查询集probe和候选集gallery对应的融合特征，维度均为r；

步骤4.2，将训练集train训练后的融合特征与对应的训练样本标签作为输入，输入到基于XQDA算法中，输出为子空间映射矩阵W和度量矩阵

步骤4.3，以查询集probe和候选集gallery对应的融合特征代表的行人图像，给定一个查询集probe对应的融合特征，让其与候选集gallery对应的融合特征中的所有特征进行特征之间相似性度量，最终得到相似性排序结果，排序结果由相似性决定，相似度越高，排序结果越靠前，完成识别，其中，相似性度量采用马氏距离，将查询集probe和候选集gallery对应的融合特征分别输入到子空间映射矩阵W和度量矩阵

评价结果使用的是CMC曲线，用rank1、rank5、rank10、rank20作为评价指标，其中，rank1的值在评价行人再识别的效果时尤为重要。

步骤3的推导过程如下：

利用CCA(典型相关分析)求解H

目标函数为：

即求解令相关系数最大时对应的映射矩阵A

在投影前，首先把原始数据标准化，得到均值为0方差为1的数据，这样：

同理可求得

由于H

令

由于分子分母增大相同的倍数，优化目标结果不变。采用和SVM类似的优化方法，固定分母，优化分子。即：

在求解(6)中的目标函数时，可以采用SVD(奇异值分解)的方法，

令

则

同时，由

由

此时，目标函数为：

s.t.u

对于目标函数，令矩阵

通过投影矩阵A

F

本发明基于融合特征行人重识别方法以及CCA(典型相关分析)为基础，结合vgg16和omni-scale深度网络的优势，提高了特征鲁棒性，同时利用DCCA(深度典型相关分析)算法对两种深度特征进行最大相关性分析，最后选择特征融合策略对两种特征进行融合，该方法分析了不同空间中特征在公共子空间中的最大相关，将两种特征之间的最大相关特征作为判别信息，在融合特征的同时，有效地消除了冗余信息，提高特征判别能力，可一定程度上提高行人重识别的准确率。