基于分步识别和融合关键部位检测的色情图像识别方法

摘要

基于分步识别和融合关键部位检测的色情图像识别方法，属于设计图像处理与计算机视觉技术领域。采用网络爬虫技术和数据扩充方法构建色情图像数据库；其次采用数据库微调GoogLeNet网络，得到图像的漫画‑非漫画二分类模型；然后利用残差网络分别在选取的训练集上进行微调，得到漫画类图像的正常‑色情二分类模型和非漫画图像的正常‑色情二分类模型；最后对数据库图像进行裸露胸部的标注，采用目标检测网络Faster RCNN训练得到胸部检测模型，并在Faster RCNN后级联分类网络对检测出的胸部做二次识别，保证胸部检测的准确率，使得有裸露胸部且肤色面积较小的色情图像不会被漏检。

说明书

技术领域

本发明涉及基于分步识别和融合关键部位检测的色情图像识别方法，属于设计图像处理与计算机视觉技术领域。

背景技术

图像识别领域常用技术可分为基于机器学习的方法和基于深度学习的方法。机器学习方法主要包括特征提取和分类器模块，人工设计并调节特征过程繁琐，并且依赖大量工程技术和专业知识，特征的质量直接影响着算法的性能；深度学习方法将特征提取和分类器结合到一个框架中，不再需要人工设计特征和分类器的繁琐步骤，其深层非线性的网络结构具有强大的特征表达能力，能够从大量数据中自主的学习图像特征，在计算机视觉领域的图像分类、目标检测、目标跟踪及分割等问题中均表现出更优异的性能。

色情图像的识别是国内外研究者们一直在试图解决的重要问题，色情图像区别于其他图像的主要特征是大面积裸露肤色以及敏感的人物动作姿态，肤色受光照条件的影响较大，人物的姿态信息相当庞杂，且图像背景千变万化，因此色情图像的识别问题难度较大。传统的色情图像识别算法大多采用机器学习方法，依赖肤色相关的颜色、轮廓特征或局部特征来训练一个分类器。这类方法对大面积肤色裸露的正常图像以及伪肤色图像有较高的误警率，并且人工设计的色情图像特征不够有效，因而识别效果并不理想。目前已有深度学习方法应用于色情图像检测问题，实现了较高的识别准确率，但是现有的色情图像识别方法不适用于黑白漫画类色情图像的识别；并且由于深度卷积神经网络层层卷积和池化(pooling)的设计，当图像中敏感部位面积较小时容易出现特征丢失，造成色情图像漏检的情况。

发明内容

为了克服现有技术的不足,本发明提供基于分步识别和融合关键部位检测的色情图像识别方法。

基于分步识别和融合关键部位检测的色情图像识别方法，含有以下步骤；首先采用网络爬虫技术和数据扩充方法构建色情图像数据库；其次采用数据库微调GoogLeNet网络，得到图像的漫画-非漫画二分类模型；然后利用残差网络分别在选取的训练集上进行微调，得到漫画类图像的正常-色情二分类模型和非漫画图像的正常-色情二分类模型；最后对数据库图像进行裸露胸部的标注，采用目标检测网络Faster RCNN训练得到胸部检测模型，并在Faster RCNN后级联分类网络对检测出的胸部做二次识别，保证胸部检测的准确率，使得有裸露胸部且肤色面积较小的色情图像不会被漏检。

本发明与现有的技术相比具有如下优点：

根据黑白漫画类图像和彩色三通道图像的特征不一致设计了分步的色情图像识别策略，对这两类图像分别进行色情与否的判定，类别的细化使得类内特征更加一致，更有益于彩色图像的分类性能，也在漫画类色情图像的识别上取得一定效果。

采用对小目标物体识别性能较优的目标检测网络Faster RCNN训练了一个胸部检测器，并级联了分类网络对检测到的胸部做二次识别，确保了胸部检测的准确性，使得有裸露胸部且肤色面积较小的色情图像不会被漏检，进一步提高了算法的查全率。

附图说明

图1为本发明构建的色情图像数据库示意图。

图2为本发明采用的图像扩充方法的示意图。

图3为本发明分步的色情图像识别方法的流程图。

图4为本发明的胸部检测结果示例图。

下面结合附图和实施例对本发明进一步说明。

具体实施方式

显然，本领域技术人员基于本发明的宗旨所做的许多修改和变化属于本发明的保护范围。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当称元件、组件被“连接”到另一元件、组件时，它可以直接连接到其他元件或者组件，或者也可以存在中间元件或者组件。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。

为便于对本发明实施例的理解，下面将做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

实施例1：如图1、图2、图3及图4所示，基于分步识别和融合关键部位检测的色情图像识别方法，该方法首先人工构建色情图像数据库；然后使用所述数据库微调GoogLeNet网络，得到图像的漫画-非漫画分类模型；接着分别构建合适的训练集微调残差网络，得到漫画类图像正常-色情分类模型和非漫画类图像的正常-色情分类模型；最后利用目标检测网络训练一个胸部检测模型，并在该模型后级联分类网络对检测到的胸部做二次识别。训练完成后，图像依次经过漫画-非漫画分类模型和正常-色情分类模型得到识别结果，疑似正常的图像再经过胸部检测做进一步判别。本发明用分步的识别策略实现了漫画类色情图像的识别，并通过融合胸部检测改善了色情图像的漏检情况，实际测试中该方法实现了较高的查全率和查准率。

基于分步识别和融合关键部位检测的色情图像识别方法为了解决漫画类色情图像的识别以及裸露胸部的色情图像漏检的问题，本发明提供一种基于分步识别和融合关键部位检测的色情图像识别方法，能够改善漫画类色情图像的识别，并通过胸部检测减少面积较小的裸露胸部色情图像的漏检情况，实现了较高的查全率和查准率。

基于分步识别和融合关键部位检测的色情图像识别方法，含有以下步骤；首先采用网络爬虫技术和数据扩充方法构建色情图像数据库；其次采用数据库微调GoogLeNet网络，得到图像的漫画-非漫画二分类模型；然后利用残差网络分别在选取的训练集上进行微调，得到漫画类图像的正常-色情二分类模型和非漫画图像的正常-色情二分类模型；最后对数据库图像进行裸露胸部的标注，采用优秀的目标检测网络Faster RCNN训练得到胸部检测模型，并在Faster RCNN后级联分类网络对检测出的胸部做二次识别，保证胸部检测的准确率，使得有裸露胸部且肤色面积较小的色情图像不会被漏检；具体包括如下步骤：

步骤1:首先根据算法识别的目标，利用网络爬虫获得彩色图像和黑白分格漫画类图像，其中正常和色情的比例约为1：1；采用的数据扩充方法包括旋转、平移、放缩、投影变换、亮度/对比度调整以及下采样，得到色情图像数据库；

步骤2：选取步骤1中数据库的漫画类图像和同等数量的彩色图像作为训练集，采用GoogLeNet网络结构训练一个图像的漫画-非漫画分类模型，网络采用ImageNet预训练模型做初始化；

步骤3：根据步骤2的分类模型，图像已得到漫画或非漫画的分类结果，对这两类图像分别做正常-色情的识别。分别为漫画类和非漫画图像的色情识别的训练选取合适的训练集；网络结构均选用50层的残差网络，并利用雅虎开源的NSFW(Not Suitable For Work)图像检测方案的模型做网络初始化，以直接利用从大数据中学习的色情图像特征，加快模型训练的收敛速度；

步骤4：对数据库中彩色色情图像进行裸露胸部的标注，每幅图像生成对应的标注文件；标注文件和图像作为训练数据输入目标检测网络Faster RCNN，训练得到裸露胸部的检测模型；由于胸部标注时受限于人体结构，难以避免头部和手部的干扰，Faster RCNN训练时的样本选择方法使得网络不能充分学习正负样本间的特征差异，因此需要在FasterRCNN后级联一个分类网络，对检测到的疑似胸部图像块做二次识别；

步骤5：训练完成后，测试时图像经过步骤2的模型得到漫画-非漫画的分类，再经过步骤3被分为正常或色情，其中疑似正常的彩色图像经过步骤4的胸部检测模块，能够找回有裸露胸部但肤色面积较小的色情图像，提高了色情识别的查全率。

其中，步骤1数据库的构建如下所述：

步骤11：从网络爬取彩色图像和黑白分格漫画类图像，彩色图像包括色情图像，泳装或摔跤等肤色较多的正常图像和其他正常图像，黑白分格漫画类图像人工筛选出画面有较突出主体的图像，避免画面布局线条过于复杂；

步骤12：采用开源代码库keras对步骤11的图像进行随机旋转、平移、放缩和投影变换的扩充；

步骤13：编写图像处理程序实现步骤11的图像亮度/对比度调整和1/4下采样的扩充。

其中，步骤2首先构建漫画-非漫画分类模型的训练集，即选择步骤1数据库中等量的黑白漫画类图像和彩色图像，然后采用22层的GoogLeNet网络结构，利用ImageNet预训练模型来微调网络，最终得到图像的漫画-非漫画分类模型。

其中，步骤3漫画类图像和非漫画类图像的正常-色情分类模型的构建如下所述：

步骤31：从步骤1数据库中选择黑白漫画类图像作为训练集，其中色情图像与正常图像的比例约为1：1；

步骤32：利用NSFW检测方案的色情图像检测模型，在步骤31的训练集上微调50层的ResNet网络，得到漫画类图像的正常-色情分类模型；

步骤33：从步骤1数据库中选择彩色图像作为训练集，其中色情图像与正常图像的比例约为1：1；

步骤34：利用NSFW检测方案的色情图像检测模型，在步骤33的训练集上微调50层的ResNet网络，得到非漫画类图像的正常-色情分类模型。

其中，步骤4胸部检测模块的构建如下所述：

步骤41：在数据库中选择有女性裸露胸部的彩色图像用于胸部检测的数据集，考虑光照、肤色、目标大小、目标角度、图像分辨率以及适当遮挡等因素以增加胸部检测数据集的多样性；

步骤42：使用图像标注工具LabelImg对步骤41数据集的图像进行标注，用矩形框包围图像中的裸露胸部，并给定标签0，每幅图像生成对应的标注文件，记录图像名称、胸部包围框的坐标信息和标签信息；

步骤43：利用步骤42的标注文件和图像训练目标检测网络FasterRCNN，得到胸部检测模型，Faster RCNN中的卷积神经网络采用ZF网络。

步骤44：由于Faster RCNN每次迭代训练仅采用2幅图像生成正负样本，并且胸部样本框难以避免头部和手部等干扰，影响了网络学习目标特征的准确性，因此需要在Faster RCNN后级联分类网络，对检测到的疑似胸部图像块做二次识别。利用步骤43的胸部检测模型在步骤41的数据集上进行预测，选择置信度在[0.7,1]范围内的预测框做分类网络的训练集，其中真实女性裸露胸部的预测框为正样本，其他框为负样本，以确保分类网络从类间差异较小的训练集中准确学习到女性裸露胸部的特征；

步骤45：采用五层的AlexNet网络作为级联的分类网络，在步骤44的训练集上进行训练，网络采用ImageNet预训练模型做初始化，FasterRCNN和分类网络构成完整的胸部检测模块；

其中，步骤5测试流程首先通过步骤2的漫画-非漫画分类模型将图像分为两类，再分别采用步骤3中漫画类图像的正常-色情分类模型和非漫画图像的正常-色情分类模型对两类图像进行色情与否的判断，疑似正常的图像经过Faster RCNN并输出置信度在0.7以上的预测框，这些预测框送入分类网络，如果一幅图像的所有预测框中有一个被分类网络判别为胸部，就认为该幅图像为色情图像。

实施例2：如图1、图2、图3及图4所示，基于分步识别和融合关键部位检测的色情图像识别方法，图1是构建的色情图像数据库示意图。利用网络爬虫获得彩色图像40k幅，黑白分格漫画类图像10k幅，其中正常和色情的比例约为1：1。彩色图像包括色情图像，泳装或摔跤等肤色较多的正常图像和其他正常图像，黑白分格漫画类图像人工筛选出画面有较突出主体的图像，避免画面布局线条过于复杂。

图2是构建数据库采用的数据扩充方法。具体包括旋转、平移、放缩、投影变换、亮度/对比度调整和下采样，参数设置分别为：旋转角度[-5°，5°]，水平和竖直平移范围为图像长宽的0.15倍，放缩比例[0，0.5]，投影变换强度[0，0.5]，图像亮度分别-10和-20，同时图像对比度+10(亮度和对比度的可调整范围均为[-100,100])。

图3是分步的色情图像识别方法的流程图，按照流程图顺序，本发明方法各步骤的具体实施过程如下：

1.读入待识别图像

系统首先获取待识别的图像数据。图像可以是彩色三通道图像，也可以是黑白单通道图像，图像尺寸任意。

2.图像的漫画-非漫画分类，构建图像的漫画-非漫画分类模型

步骤21)数据准备；从数据库中分别选取10k彩色图像和10k黑白漫画图像，其中随机选择十分之一作为测试集，其他用于训练；

步骤22)模型训练；采用22层的GoogLeNet网络结构，将网络最后一个全连层的输出节点数改为2，对应类别数。网络采用ImageNet预训练的模型进行微调，训练设置基础学习率为0.0001，当测试集上的损失值不再稳步下降时结束训练；

步骤23)利用上述的漫画-非漫画分类模型，将待识别图像分为漫画或非漫画两类。

3.漫画类图像的正常-色情分类，构建漫画类图像的正常-色情分类模型

步骤31)数据准备；从数据库中选择90k线条布局相对清楚的黑白漫画类图像，其中色情图像与正常图像的比例约为1：1，随机选择十分之一作为测试集，其他用于训练；

步骤32)模型训练；采用50层的残差网络，将网络最后一个全连层的输出节点数改为2，对应类别数。采用NSFW检测方案的模型进行网络初始化，设置基础学习率为0.0001，当测试集上的损失值不再稳步下降时结束训练；

步骤33)利用上述的正常-色情分类模型，将被分为漫画类的图像分为正常或色情。

4.非漫画类图像的正常-色情分类，构建非漫画类图像的正常-色情分类模型

步骤41)数据准备；从数据库中选择400k彩色图像，其中色情图像与正常图像的比例约为1：1，随机选择十分之一作为测试集，其他用于训练；

步骤42)模型训练；采用50层的残差网络，将网络最后一个全连层的输出节点数改为2，对应类别数。采用NSFW检测方案的模型进行网络初始化，设置基础学习率为0.0001，当测试集上的损失值不再稳步下降时结束训练；

步骤43)利用上述的正常-色情分类模型，将被分为非漫画类的图像分为正常或色情。

5.训练胸部检测模块

步骤51)数据准备；从数据库中选择有女性裸露胸部的彩色图像作为胸部检测的数据集，除了考虑不同光照、肤色、目标大小、目标角度、图像分辨率以及适当遮挡来增加数据集的多样性，还需要考虑男性胸部和女性胸部同时存在于画面中的情况，以提供男性胸部的负样本使网络学习到裸露男性胸部和女性胸部的区别；

步骤52)图像标注：使用LabelImg工具对上述数据集的图像进行标注，用矩形框包围图像中的裸露胸部，并给定标签0。每幅图像生成对应的xml文件，记录图像名、胸部包围框的坐标信息和标签信息；

步骤53)目标检测模型训练：利用上述标注文件和图像训练目标检测网络FasterRCNN，Faster RCNN中的卷积神经网络采用ZF网络。训练参数的设置参考ImageNet目标检测模型的训练。利用胸部检测模型对疑似正常的彩色图像做进一步识别，设置阈值0.7来过滤概率值较低的预测框能够有效减少误判的情况；

步骤54)级联分类网络的训练：将胸部检测模型应用于数据库，输出置信度在0.7以上的检测框并人工分为正样本(胸部)和负样本，作为训练集，采用5层的AlexNet网络结构，在ImageNet预训练的模型基础上进行微调，得到的分类模型对Faster RCNN胸部检测模型输出的概率值在0.7以上的预测框进行进一步识别，一幅图像可以有多个预测框，规定一幅图像的任一预测框被分类网络判别为胸部，就认为该幅图像为色情图像。

图4是胸部检测的识别结果。胸部检测对裸露胸部能够较准确识别，模型对光照、裸露图像块大小和部分遮挡有一定的鲁棒性。

本发明在中国移动提供的数据集(20912幅图像，其中色情图像8789幅，正常图像12123幅)上达到了96.2％的查全率和97.9％的查准率，在Tesla K40 GPU上测试，算法速度可以达到4.6幅/s。

如上所述，对本发明的实施例进行了详细地说明，但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形，这对本领域的技术人员来说是显而易见的。因此，这样的变形例也全部包含在本发明的保护范围之内。