基于循环对抗生成网络的行人图像遮挡检测方法

摘要

本发明公开了一种基于循环对抗生成网络的行人图像遮挡检测方法，步骤：(1)在无遮挡的行人图像中随机加入遮挡图像块，生成带遮挡的行人图像及对应的带遮挡标注的行人图像；(2)将上述带遮挡的行人图像及对应的带遮挡标注的行人图像作为两个数据域，训练循环对抗生成网络模型，构建遮挡图像与遮挡标注之间的映射；(3)对于当前输入的待标注图像，利用训练后的循环对抗生成网络模型去产生该图像对应的遮挡标注，同时对待标注图像进行分割，得到若干个超像素块，根据每个超像素块内遮挡标注的信息，采用区域生长方法得到最终的遮挡区域。本发明方法可以在缺少遮挡标注的情况下，针对不同类型的遮挡进行建模，得到像素级别的遮挡区域检测结果。

说明书

技术领域

本发明涉及图像分析领域的遮挡检测方法，尤其是利用循环对抗生成网络进行行人图像中的遮挡区域检测方法。

背景技术

行人再识别旨在从不同视角、不同时段拍摄的图像中匹配到相同的行人目标。这个问题在视频安防监控中是一个非常重要的问题，特别是对于重点人物的追踪定位有十分现实的意义。然而主流的行人再标识任务中，进行匹配的图像都是由行人检测器获取到的行人图像，而这些被检测出来的图像往往伴随着遮挡。图像中的遮挡会对原有行人纹理特征产生巨大干扰，使得后续的行人再标识任务的准确率大打折扣。为了避免遮挡区域对行人再标识任务性能的影响，需要对行人图像中的遮挡信息进行分析。

对于图像中遮挡区域检测问题，目前主要有以下两种方法：基于显著性检测的方法、基于通用物体检测的方法。基于显著性检测的方法是假设遮挡区域在图像中具有比较强的显著性，将显著性图中数值较高的区域作为遮挡区域，这种方法对于遮挡区域不显著的图像很容易发生误检。基于通用物体检测的方法是将图像中的主要目标物体标定出来，并进行分类判断。由于主流的通用物体检测方法提取出来的是一个矩形框，相比遮挡检测这类像素级别的任务略有不同，在实际应用中不可避免地涉及到诸多后处理的步骤，不能保证模型的鲁棒性。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于循环对抗生成网络的行人图像遮挡检测方法，该方法可以在缺少遮挡标注的情况下，针对不同类型的遮挡进行建模，人工生成大量带遮挡的行人图像及其遮挡区域标记，最终得到像素级别的遮挡区域检测结果。

本发明的目的通过以下的技术方案实现：基于循环对抗生成网络的行人图像遮挡检测方法，包括步骤：

(1)在无遮挡的行人图像中随机加入遮挡图像块，生成带遮挡的行人图像及对应的带遮挡标注的行人图像；所述的遮挡标注是指人为设定的遮挡图像块或者原图自带的遮挡物体在行人图像中的区域；

(2)将上述带遮挡的行人图像及对应的带遮挡标注的行人图像作为两个数据域，训练循环对抗生成网络模型，构建遮挡图像与遮挡标注之间的映射；

(3)对于当前输入的待标注图像，利用训练后的循环对抗生成网络模型去产生该图像对应的遮挡标注，同时对待标注图像进行分割，得到若干个超像素块，根据每个超像素块内遮挡标注的信息，采用区域生长方法得到最终的遮挡区域。

作为一种优选方式，所述步骤(1)中，遮挡图像块的获取方式是：从数据库中获取遮挡物图像，然后在遮挡物图像上进行去背景、高斯滤波操作，得到遮挡图像块。使得遮挡图像块与原有的行人照片的贴合更加自然。

作为另一种优选方式，所述步骤(1)中，遮挡图像块的获取方式是：从数据库中获取遮挡物图像，然后在遮挡物图像上进行去背景、高斯滤波操作，得到初始遮挡图像块；再对初始遮挡物图像进行随机裁剪和水平翻转，然后得到最终遮挡图像块。以尽量增加遮挡物图像的比例，实现数据增强。

更进一步的，为了更好地拟合现实中的遮挡类型，对于位于无遮挡的行人图像上下两半部分的遮挡，随机选取宽为60％～100％，高为20％～50％的区域放置所述的遮挡图像块；对于位于原图左右两半部分的遮挡，随机选取宽为20％～50％，高为60％～100％的区域放置所述的遮挡图像块。这里限定的遮挡块区域是根据现实场景中的遮挡来设置的。

优选的，所述步骤(2)中，训练循环对抗生成网络模型的步骤如下：

循环对抗生成网络中有两组对称的生成器与判别器，假设带遮挡的行人图像域为X，带遮挡标注的行人图像域为Y，生成器G_X→Y用于将域X中的图像映射到域Y中，生成器G_Y→X用于将域Y中的图像映射到域X中，判别器D_X、D_Y分别用于判别输入的图像是否属于域X与域Y；

网络训练的过程包含两种损失函数：对抗损失函数与循环一致性损失函数，对抗损失函数约束着生成器产生更接近另一种图像域的图片，而判别器不断提升判别对应的图像域的能力，以生成器G_X→Y和判别器D_Y的组合为例，其对抗损失可表示如下：

循环一致性损失函数约束着图像经过两种图像域之间的转换后，仍能保持原有的图像域的分布特征，循环一致性损失函数可表示如下：

结合上述两种损失函数，总体的损失函数可表示如下：

L(G_X→Y,G_Y→X,D_X,D_Y)

＝L_GAN(G_X→Y,D_Y,X,Y)+L_GAN(G_Y→X,D_X,X,Y)+λL_cyc(G_X→Y,G_Y→X)

其中的λ用于调节对抗损失函数与循环一致性损失函数的权重；

当迭代次数达到阈值或者总体损失函数小于阈值时，该模型停止训练。

优选的，所述步骤(3)中，针对循环对抗生成网络模型中生成器生成的带遮挡标注的行人图像，在LAB空间对每个像素的值与训练时设定的遮挡标注的值进行距离度量，将距离小于阈值的像素点作为兴趣点，生成一幅二值化的热点图。

优选的，在二值化的热点图上，采用紧密分水岭分割算法对当前输入的待标注图像进行分割，得到超像素图，超像素图中包括若干个超像素块，如果某个超像素块内，兴趣点与其他像素点的比例，或者兴趣点的个数超过一定阈值，那么将这个超像素块作为初始的候选遮挡区域。

更进一步的，在选择初始的候选遮挡区域后，使用宽度优先搜索或者深度优先搜索策略，通过区域生长方法得到最终的遮挡区域。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明能够在缺少遮挡图像数据的情况下生成所需的遮挡图像样本进行模型训练。本发明利用人工合成的方法，模拟了现实场景下各种类型的遮挡情况，在短时间内生成了大量的带遮挡图像及对应的遮挡标记。这样可以显著降低数据采集与数据标记过程中的成本。

2、本发明利用循环对抗生成网络进行训练，能够借助模型自身的循环一致性约束自适应地对训练数据中的遮挡图像和遮挡标记的模式分布进行学习。而且本方法在训练过程中不需要成对的输入数据进行训练，在原始遮挡图像或者遮挡标注图像丢失的情况下依然能够利用剩余的数据进行训练。

3、本发明利用超像素块的纹理特征进行匹配，能够充分利用图像全局信息进行分析。经过基于超像素的后处理，本方法在修正检测结果的同时显著提升了处理效率，且结果更为准确。

附图说明

图1为本发明方法训练过程的流程图。

图2为本发明方法测试过程的流程图。

图3为本发明方法生成的训练数据示例图一，其中第一行表示带遮挡的行人图像，第二行表示对应的带遮挡标注的行人图像。

图4为本发明方法生成的训练数据示例图二，其中第一行表示带遮挡的行人图像，第二行表示对应的带遮挡标注的行人图像。

图5为本发明方法生成的超像素图。

图6为本发明方法的遮挡区域检测结果，其中第一行表示带遮挡的原始行人图像，第二行中的灰色区域表示循环对抗生成网络模型预测出的遮挡区域，第三行中的白色区域表示最终得到的遮挡区域检测结果。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

参见图1、2，本实施例基于循环对抗生成网络的行人图像遮挡检测方法，包括步骤：

(1)训练阶段1，即训练样本图像获取阶段。

本实施例利用MARS数据集中训练集的625个ID的行人图像作为无遮挡的原始行人照片，同时从ImageNet数据集和互联网分别获取了包括行人、墙壁、车辆、花木、雨伞、桌椅等6类731张图片作为遮挡物的图像，最终合成18750张带遮挡的图像及其标注。

在输入网络进行训练之前，本实施例在遮挡物图像上进行了去掉遮挡物中的背景、高斯滤波等操作，确保生成的图像质量趋近于真实的图像遮挡区块。由于遮挡物图像的比例相对较少，本发明对去掉背景的遮挡物图像进行随机裁剪(即选取遮挡物图像中的一部分)和水平翻转，实现数据增强。针对MARS数据集中的每一个行人ID，本方法不重复地随机选择不超过40张图片作为背景。对于每张原始的行人图像，随机选取一张遮挡物的图像，并根据遮挡物的先验知识随机地分配遮挡的类型——上下左右。譬如树木只会在左右两边，椅子只会在下方，雨伞可以在上下两半等等。若要生成位于原图上下两半部分的遮挡，本方法随机选取宽为60％～100％，高为20％～50％的区域用于放置遮挡物图像；若要生成位于原图左右两半部分的遮挡，本方法随机选取了宽为20％～50％，高为60％～100％的区域用于放置遮挡物图像。本方法将原图中的遮挡区域替换成遮挡物图像，合成带遮挡的行人图像；将原图中的遮挡区域替换成灰色，合成带遮挡标注的行人图像。最终生成的训练样本如图3、4所示。

(2)训练阶段2，即构建循环对抗生成网络模型阶段。

本发明将带遮挡的行人图像与标记出遮挡区域的行人图像作为网络的两路输入进行训练，综合考虑对抗损失与循环一致损失，让网络能够实现带遮挡图像与带遮挡标注的图像这两种数据域的图像转换。由于循环对抗生成网络(参考：Zhu,Jun-Yan,et al."Unpaired image-to-image translation using cycle-consistent adversarialnetworks."arXiv preprint arXiv:1703.10593(2017).)的标准输入输出是方形图像，为了避免图像失真，本方法在训练前对图像的左右两侧加入等宽的黑色边框，并在测试环节把两边的黑边删去。在实验中，设置batch size为1，learning rate为0.0002，λ为10。图像尺寸为256*256。经过90000次迭代，模型基本收敛。

(3)测试阶段。

对于输入的带遮挡行人图像，本发明利用训练阶段得到的遮挡标记生成器去生成对应的带遮挡标注的行人图像。由于生成的图像标记存在色差，本方法需要筛选出感兴趣的像素点。生成的标注图像首先被投影到LAB空间下，并转化为0～255的区间。接着统计出各个通道的数值与标记色彩(灰色)的距离均小于5的像素点作为兴趣点，从而生成一幅二值化的热点图。

同时本发明利用紧密分水岭分割算法(参考：Neubert,Peer,and PeterProtzel."Compact watershed and preemptive slic:On improving trade-offs ofsuperpixel segmentation algorithms."Pattern Recognition(ICPR),2014 22ndInternational Conference on.IEEE,2014.)对原始图像进行分割，得到相应的超像素图。在进行图像分割的过程中，初始超像素块数设置为80，紧密度设置为0.01，经过实验验证得到比较良好的分割效果。超像素块分割结果如图5所示。本发明首先计算每个超像素块内兴趣点个数，筛选出兴趣点个数超过20或者兴趣点比例超过0.4的超像素块作为初始的候选遮挡区域。接着本发明以这些初始候选遮挡区域为种子进行区域生长。具体而言，就是从每一个初始的候选遮挡区域出发，遍历其邻接的超像素块，将平均LAB数值与该初始超像素的欧氏距离小于12且未被访问的超像素块加入候选遮挡区域集合，若存在符合条件的超像素块则递归地访问其邻接的超像素块。这个过程可以使用宽度优先搜索或者深度优先搜索策略实现，搜索完成后，最终的候选遮挡区域集合即为本发明检测到的遮挡区域。

为了验证实验的有效性，本发明还在Occluded-REID和Partial-REID这两个带遮挡的行人数据集上进行了验证。实验中，利用本方法对两个数据中的遮挡行人图像进行处理，提取出遮挡物体的区域。将实验得到的结果与数据集人工标注出的行人目标和遮挡目标区域进行比较，计算出检测结果中行人目标、遮挡目标的比例以及行人目标、遮挡目标被检测到的比例。结果参见表1。

表1本发明方法在实验数据集上进行遮挡区域检测的量化分析

在上表中，检测结果遮挡物比例、检测结果行人比例类似于准确率，遮挡物被检测比例、行人被检测比例类似于召回率。如果检测区域中的遮挡目标比例太低，则说明没有很好地把遮挡目标的特征识别出来；如果遮挡目标被检测出来的比例太低，则说明发生较多的漏检。通过上述指标可看出，本发明方法具有较高的准确率，较低的误检率。参见图6，本发明的方法能够较准确地检测出图像中的遮挡区域，同时对行人目标的误检率也较为理想。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。