一种对彩色数字图像进行不良内容识别的方法

摘要

本发明属于数字图像处理技术领域，具体为一种对彩色数字图像进行内容识别的方法。该发明包含图像拷贝检测算法和色情图片识别算法。其中图像拷贝检测算法用级联的方法，先用图像二阶熵的比较缩小在图片库中的范围。再用SSIM算法在缩小的范围内最终得出相似度。色情图片识别算法包括四个弱分类器：皮肤区域比例分类器，人脸个数分类器，不变矩分类器，皮肤区域分布分类器，它们输出4个置信度，组成一个四维特征向量，输入一个强分类器，得到最后结果。强分类器结果越大，内容为色情的概率越大。该系统和方法对互联网管控领域有广发的应用价值。

说明书

技术领域

本发明属于数字图像处理技术领域，具体涉及一种彩色图像内容的分析与过滤方法，进一步则涉及一种数字图像拷贝检测和一种人体皮肤分割的方法，该系统可用于互联网不健康，暴力，反动图片的检测与过滤。阻止不健康内容的蔓延，保护青少年的身心健康。

背景技术

随着Internet使用的日益普遍，网络上存在的各种不良信息(色情、反动、暴力等等)越来越多地干扰着互联网的正常秩序。由于缺乏传统媒体对信息发布的有效监控，大量本应受到严格管制的信息因而随之泛滥。如何有效控制这些信息的传播，并保障网络的内容安全，成为不良信息检索、监控研究的主要内容之一。

现有的一些网络过滤系统大都是基于URL地址的过滤，该技术只是简单地对网络用户直接屏蔽掉设定在网络运营商防火墙中的不良内容网站URL地址数据库(俗称“黑名单”)中的网站，国内外市面上鲜有直接针对网络媒体(图像与视频)内容过滤的商用系统。虽然基于URL的屏蔽技术简单高效，但其却有着严重的局限性：由于网络运营商无法及时更新黑名单，这将导致很多新增色情网站成为漏网之鱼；同时，有些域名下并不是所有网页的内容都是不健康的，这又将导致一些正常内容被无辜屏蔽。基于媒体内容的过滤却没有以上局限性，该技术是直接针对网络上图片进行实时内容分析，决定该图片对象是否允许下载到客户端——所以基于内容的过滤技术必然是互联网过滤系统的发展趋势。然而，由于基于内容的过滤系统需要对媒体对象进行智能分析，对于不良图片的分析又分为暴力、反动，色情图片分析，不幸的是，到目前为止，这种语义级别的分析本身就是一个无法很好解决的难题。

经过大量观察我们发现，不良图片(暴力、反动、色情)图片在网上传输有两个特点，一个是数量大，另一个是具有重复性，也就是说一张同样的不良图片会被不同的人浏览多次，所以对不良图片的识别首先该系统采用拷贝检测的方法，不考虑很难解决的语义问题，而是搜集大量的暴力，反动，色情图片语料库，用待测图片和语料库中的图片进行比较，若有相似的图片，则认为其为不良图片。

此外，对于色情图片的检测，我们还可以依靠人体皮肤区域分割技术，加上人脸检测技术相互配合，解决色情图片的识别。

不过，人体皮肤区域分割技术本身就是一个无法很好解决的难题。在彩色数字图像中，人体皮肤的颜色由于受到两个主要因素的影响变化非常剧烈，这两个因素为：(1)本征肤色。不同的人种，如白种人、黄种人等，以及不同的身体条件，如不同的性别、年龄等，都会拥有完全不同的本征肤色；(2)光源条件。在剧烈的光照下，一些向光皮肤区域会呈现颜色极度不饱和现象，甚至完全变白，而背光皮肤区域则会变暗；皮肤同样还会反射环境光，就如同粉刷成白色的墙壁因为邻近棕色地板的反光而呈现出淡棕色。人类的视觉系统对于这些因素引起的皮肤颜色变化是极其不敏感的，这种现象可以由Land的“颜色不变现象(Color Constancy Phenomenon)”[13]解释；然而，数字设备在成像过程中却能精确地、客观地捕获皮肤颜色的这些变化，这种“客观性”直接导致了“通用肤色模型”无法包含所有的肤色种类，即“通用模型不通用”的尴尬。当然，包含所有的皮肤颜色并不是一件难事，但是这里的前提是，肤色模型不能把除肤色之外的背景颜色也同时提取出来，否则，肤色模型将没有任何意义。

经过大量观察我们发现，传统“通用肤色模型”或“一般肤色模型”([9，11，15，20])的局限性可以由两对致命的矛盾进行概括：(1)通用性与查全率。“通用肤色模型”的性能通常是在其容纳一般肤色信息和特殊肤色信息的能力之间找到一个最佳的权衡。如果过于强调通用性，模型中分配给各种肤色的能量都过于分散且微弱，检测时大多数的样本都能得到一定的置信度，但却不足够高，达不到肤色阈值，从而导致低查全率；(2)完整性与准确率。利用“通用肤色模型”检测出来的皮肤区域大多都很粗糙，不精确，因为在特定图像中，由于光照和阴影，很多情况下背景颜色比该图像中的真实皮肤颜色更为接近于一般皮肤颜色，因此，背景往往能得到比真实皮肤区域更高的置信度，如果此时因为强调皮肤区域提取的完整性而放松阈值想把皮肤阴影区域也提取出来，那后果就是更多的背景区域也相应被提取出，从而导致低准确率[5，6，10，16，21，22]。

以上的分析说明一个问题，就是“通用肤色模型”或者说“一般肤色模型(Generic SkinModel)”是不可能对所有的图像都有效的，它只能在一般与特殊之间取一个权衡来使性能最大化。所以我们可以建立专用肤色模型。

另外，在皮肤分割技术不完备的前提下，单纯的依靠皮肤面积的大小来判断该图片是否为色情图片必然会导致严重的误判。若是加入人脸和皮肤分割技术相互协调作用，定会增加整个系统的稳定性。

发明内容

本发明目的在于提出一种高准确率，高效率，低时间复杂度的，对彩色数字图像不良内容识别的方法。

本发明提出的对彩色数字图像不良内容识别的方法是利用图像拷贝检测和色情图片识别共同作用达到的，其具体步骤是：

1)建立不良内容图片库，根据内容不同分类为色情图片库，反动图片库，暴力图片库。

2)对需要识别的图片先进行拷贝检测，看不良图片库中是否有和该图片相似的副本。若有则直接返回该不良图片库的类别，作为待识别图片的识别结果。

3)若步骤b)中拷贝检测没有发现待识别图片的副本，则再根据色情图片识别算法对该图片进行识别。最终得出最后识别结果。

由以上介绍的方法得出的判定结果较之于传统方法而言，存在两大优势：准确率高。以往的识别技术对色情图片一方面单纯用肤色检测来判定图像的色情程度，语义性较差，分割出的结果误差大。另一方面对整个不良图片识别上，此方法的扩展性很强，针对于新出现的不良图片(包括暴力，反动，色情图片)或色情图片识别算法漏检的图片，我们可以把其加入到不良图片库中去，使得我们整个算法的准确性不断提高，最终达到令人满意的效果。

本发明采用两个核心算法和一个系统框架。两个核心算法是：(1)拷贝检测算法；(2)色情图片识别算法。基于以上两个核心算法，本发明设计了一种对彩色数字图像不良内容识别的系统。

下面介绍本发明对彩色数字图像识别系统的框架及该框架的两个核心算法。

1.系统的框架

该框架主要分为三部分(见图1)，拷贝检测(CD)，色情图片识别(PR)，和人工选择。

待测图片首先进行拷贝检测，，若图片库中存在与其相似图片，则输出结果，若没有，则进行色情图片检测来判断该图片是否为色情图片，这里还可以有人工的参与，在色情图片检测后，人工可以筛选识别算法误判的图片，把这些图片加入到白名单图片库中，使其在拷贝检测中能直接判定其为正常图片。

2.图像拷贝检测算法

图像拷贝检测算法的创意基于以下设想：应用精确的拷贝检测算法对待测图片和大量图片库中的图片库进行比较，需要花费大量的计算代价，但精确的拷贝检测结果又是我们需要的，所以只有设计一种既能得到比较准确结果，又能节约计算资源的新算法。

现在描述如何设计符合以上两个条件的新算法。新算法采用去粗取精的方法，先用速度较快，准确率比较低的方法缩小在图片库中的比较范围，然后在小范围内使用时间复杂度较高，较为精确的拷贝检测算法。

第一步，算法应用图像的二阶熵来缩小在图片库中的比较范围。图像的二阶熵不仅反映了图像灰度分布的聚集特征，而且反映了图像灰度分布的空间特征。公式如下：

$H=-\underset{i=0}{\overset{255}{\Sigma }}\underset{j=0}{\overset{255}{\Sigma }}{P}_{\mathrm{ij}}{\log }_2{P}_{\mathrm{ij}}$

其中i表示像素的灰度值(0＜＝i＜＝255)，j表示邻域灰度均值(0＜＝j＜＝255)，P_ij＝(f(i，j))/N²。其中f(i，j)为特征二元组(i，j)出现的频数，N为图像的尺度。首先我们可以离线提取图片库中所有图片的二阶熵放入内存中，形成“二阶熵序列”，以便后面快速的和待测图片进行比较。然后人工可以选定一个阈值，若待测图片的二阶熵和图片库某一图片的二阶熵之差小于此阈值，则把该图片和待测图片进行较精确比对。为了更加快速的比较，也可以离线的对“二阶熵序列”进行排序，然后用折半查找的方法进行比较。

下面就是精确比较的算法，该算法采用的是SSIM算法[24]，该算法主要关心比较图像之间的结构信息，而图像中又有光照和反射这些和事物结构无关的干扰，如何去掉这些因素的干扰是该算法关注内容。

该算法把判断图像相似度的任务分成了三个部分：亮度比较，对比度比较和结果比较。这三部分相互作用。见图2

首先，根据算法中的三部分，我们需要定义三个函数：l(x，y)，c(x，y)，s(x，y)，其中l(x，y)表示信号x，y的亮度相似度。c(x，y)表示信号x，y的对比度相似度，s(x，y)表示信号x，y的结构相似度。为了使其相互能够比较，三个函数必须满足下面三个基本条件：

(以s(x，y)为例)

(1)s(x，y)＝s(y，x)

(2)s(x，y)≤1

(3)s(x，y)＝1当且仅当x＝y(对于图像来说就是每一个像素对应相等)

由此我们定义如下函数：

μ_x表示图像的亮度平均值。x_i为图像的第i个像素点的像素值。

${\mu }_x=\frac{1}{N}\underset{i=0}{\overset{N}{\Sigma }}{x}_i$

对每一个像素去掉其平均亮度值，然后进行处理就得出了标准方差δ_x。

${\delta }_x={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\Sigma }}{(x_i-{\mu }_x)}^2\right)}^{\frac{1}{2}}$

下面的公式l(x，y)，c(x，y)，s(x，y)都满足上满的三个基本条件，常数项C的加入是为了避免分母过小。

$1(x,y)=\frac{2{\mu }_x{\mu }_y+c_1}{{\mu }_x^2+{\mu }_y^2+c_1}$

$c(x,y)=\frac{{2\delta }_x{\delta }_y+c_2}{{\delta }_x^2+{\delta }_y^2+c_2}$

$s(x,y)=\frac{{2\delta }_{\mathrm{xy}}+c_3}{{\delta }_x^2+{\delta }_y^2+c_3}$

由此得出：

$\mathrm{SSIM}(x,y)=\frac{({2\mu }_x{\mu }_y+c_1)({2\delta }_{\mathrm{xy}}+c_2)}{({\mu }_x^2+{\mu }_y^2+c_1)({\delta }_x^2+{\delta }_y^2+c_2)}$

这里我们用c₃＝c₂/2。

3.色情图片识别算法

色情图片识别算法基于以下思想，单一的算法(例如，皮肤分割算法)很难解决语义级别的问题，一方面由于单一算法对于自身分类问题的分类效果不一定很好，另一方面只根据一个算法得出的结果会使系统只能识别固定模式的图片。但是把多个算法强加在一起，又会使多个分类器相互干扰，这就要让人规定一些规则，使其能协同工作。下面先对所用到的两个基本算法做简要介绍：

皮肤分割算法：该算法首先要从海量各种含有不同人体皮肤区域的图像中手工提取大量一般肤色像素样本，用颜色直方图建立“一般肤色模型”；该算法的创意在于希望在在线处理图像过程中系统能够动态建模针对特定图像的肤色模型，但是“一般肤色模型”的统计信息又不想完全丢失，即只希望利用从特定图像中新得到的样本集在原肤色模型的基础上进行修正。另外为了使皮肤区域更加连续，而又不会超过皮肤边界进行增长，该算法还采用了基于边缘的区域生长算法。

基于边缘的区域生长算法：种子区域生长(Seeded Region Growing)是一项成熟的技术，然而该算法中的区域生长策略还必须考虑边缘约束。结合边缘信息与区域生长用于图像分割的研究也比较成熟，如[3，7，14]，然而这些复杂的分割算法并不适用于皮肤区域的分割(提取)。鉴此，一种结合了两种经典技术的新算法应运而生，它结合了Canny算子[2]与Adam种子区域生长[1]，该算法的步骤用伪代码描述如下：

(1)把“主种子区域”中所有像素的邻接未标记像素点推入顺序队列；

(2)while(顺序队列不为空)

(3)从队列中取出第一个像素v；

(4)以v为中心在图像上覆盖一个5x5像素的窗口W；

(5)计算窗口W中所有标记过像素的YUV平均向量x；

(6)计算像素v的YUV向量；

(7)if(|x-y|＜δ并且没有边缘穿过窗口W)

(8)把v标记为皮肤像素；

(9)把v的邻接未标记(不属于“主种子区域”)像素点推入顺序队列；

(10)end

其中|·|表示欧几里德距离，δ取经验值24。

增量式颜色直方图：由于图像进行了区域增长，增长的皮肤区域可以作为这张图像中特有的皮肤区域，这些特有的皮肤区域可以修正“一般肤色模型”，公式如下：

histoPara＝histoPara×(1-ratio)+histopara×ratio；

其中histoPara为“一般肤色模型”，Histopara：为“专用肤色模型”。

人脸检测算法：使用的是haar特征的级联表，这个级联表中包含的是级联(boost)的分类器。级联分类器的基本原理是由若干个简单分类器级联成的一个大的分类器，被检测的窗口依次通过每一个分类器，可以通过所有分类器的窗口即可判定为目标区域。同时，为了考虑效率问题，可以将最严格的分类器放在整个级联分类器的最顶端，那样可以减少匹配次数。对于人脸检测，首先，人们采用样本的haar特征进行分类器的训练，从而得到一个级联的boost分类器。训练的方式包含两方面：

1.正例样本，即待人脸图像目标样本

2.反例样本，其他任意的图片

首先将这些图片统一成相同的尺寸，这个过程被称为归一化，然后进行统计。一旦分类器建立完成，就可以用来检测输入图片中的感兴趣区域的检测了，一般来说，输入的图片会大于样本，那样，需要移动搜索窗口，为了检索出不同大小的目标，分类器可以按比例的改变自己的尺寸，这样可能要对输入图片进行多次的扫描。

为了使这两个算法协同工作，综合两个算法的特点和使用的场景，系统中规定了四个分类器：皮肤区域比例分类器，人脸个数分类器，不变矩分类器，皮肤区域分布分类器。

皮肤区域比例分类器：由于在色情图片中，皮肤面积所占整张图片的比例是一个很重要的判定标准，所以该分类器输出皮肤分割算法检测出的皮肤面积除以整个图像的面积这个比值。

不变矩分类器：对于有大量皮肤暴漏，而又不是色情图片的例子(如人脸照而言，皮肤区域所占面积很大，而其明显不是色情图片)，为了避免这种情况的发生，系统用皮肤区域的质心和人脸区域的质心两者的距离表征该分类器的值，距离越大，说明非脸部皮肤区域较多，这种情况，该图片为色情图片的几率越大。

人脸个数分类器：人脸个数越多，越有可能为色情图片。

皮肤区域分布分类器：在大量之后实验后，人体皮肤区域的分布在图像中有一定规律性。在色情图片中皮肤主要分布在图像的中间位置，所以我们设计了这样的算法：把皮肤区域图平均分割成5×5的格子，即长宽分别五等分。计算每个小格子中皮肤区域所占该格子面积的比例，得到一个区间在[0，1]之间的值，然后按照从左到右、从上到下的顺序把25个值拉升为一个25维向量，作为皮肤区域分布的特征。然后设定一个权值向量，把图像也按照从左到右、从上到下的顺序拉升为一个25维向量，图像相对中间位置在向量中对应的位置填上较高置信度，其他位置填上较低置信度。九个值相加为1。然后用皮肤区域分布特征和权值向量做内积。得出的值为皮肤区域分类器的值。

四个分类器得出的值都在[0，1]范围内，分别把四个分类器赋予不同的置信度，相加后得到强分类器的结果。该结果就是色情图片识别的最终结果。

附图说明

图1：系统框架图。

图2：SSIM算法流程图。

具体实施方式

图1发明数字图像内容识别系统架构图，包括图像拷贝检测和图像内容识别模块。

下面结合附图对本发明内容识别方法作做进一步说明。所有测试图像格式都属于以下格式的一种：jpeg、jpg、bmp、png、tiff。图片大小在1M以下。

首先对色情图片识别算法进行测试。图片集中包括正常图片，暴漏图片，色情图片。各占三分之一。对所有测试用例分别进行色情图片识别，最终得出识别置信度。经过统计，识别准确率达到85％。在开放测试时，准确率达到75％。在处理速度上，单核cpu，主频2.13GHz，情况下，正常图片：0.01秒/张，不良图片0.025秒/张。

对于拷贝检测，该算法可检测与原图像相似的图片。为了具体实验设计如下。

1.对原图像集提取特征后，输入一幅乱涂乱画的原图像，看能否检测出来。经过试验，对于涂画面积比较大的情况，因为丢失了大量的缘由图片信息，基本检测不出来；对于涂画面积比较小但涂画颜色与原图像颜色均值差异较大的情况，也检测不出来。对于涂画面积和涂画颜色合适的情况，检测出的概率较高。

2.对原图像集提出特征后，输入一幅剪切后的原图像，看能否检测出来。经过试验，剪切面积在原图像的十六分之一为一个临界点，若剪切后的图片为面积小于这个临界值，测检测不出来，大于临界值，则检测出来的概率较大。

综上所述，对于用拷贝检测和色情图片识别相结合的方法进行不良内容的识别可以达到很高的查全率和查准率，而且对于漏检和误检的图片，我可以用拷贝检测的方法进行动态学习。从而进一步提高系统的鲁棒性。

引用资料：

[1]Adams，R.and Bischof，L.Seeded Region Growing，IEEE Trans.on Pattern Analysis and MachineIntelligence，1994，vol.16，pp.641-647.

[2]Canny，J.A Computational Approach to Edge Detection，IEEE Trans.on Pattern Analysis andMachine Intelligence，1986，vol.8，pp.679-698.

[3]Chang，Y.L.and Li，X.Adaptive Image Region-Growing，IEEE Trans.on Image Processing，1994，vol.3，pp.868-872.

[4]Figueiredo，M.and Jain，A.K.Unsupervised Learning of Finite Mixture Models，IEEE Trans.onPattern Analysis and Machine Intelligence，March 2002，vol.24，no.3，pp.381-396.

[5]Fleck，M.M.，Forsyth，D.A.and Bregler，C.Finding Naked People，In Proc.of the Fourth EuropeanConf.on Computer Vision，Berlin，Germany，1996，vol.2，pp.593-602.

[6]Forsyth，D.A.and Fleck，M.M.Identifying Nude Pictures，In Proc.of the 3rd IEEE Workshop onApplications of Computer Vision，Dec 2-4，1996，pp.103-108.

[7]Haddon，J.and Boyce，J.Image Segmentation by Unifying Region and Boundary Information，IEEETrans.on Pattern Analysis and Machine Intelligence，1990，vol.12.

[8]Hall，P.and Hicks，Y.A Method to Add Gaussian Mixture Models，Tech.Rep.2004-03，Dept.ofComputer Science，Univ.of Bath，UK，April 2004.

[9]Jedynak，B.，Zheng，H.，Daoudi，M.and Barret，D，Maximum Entropy Models for Skin Detection，Tech.Rep.XIII，Universite des Sciences et Technologies de Lille，France.

[10]Jeong，C.Y.，Kim，J.S.and Hong，K.S.Appearance-Based Nude Image Detection，In Proc.of the17th Int’l Conf.on Pattern Recognition，Aug 23-26，2004，vol.4，pp.467-470.

[11]Jones，M.J.and Rehg，J.M.Statistical Color Models with Application to Skin Detection，In Proc.ofthe Computer Vision and Pattern Recognition，1999，vol.1，pp.274-280.

[12]Kimmel，R.，Elad，M.，Shaked，D.，Keshet，R.and Sobel，I.A Variational Framework for Retinex，Hewlett Packard Tech.Rep.HPL-1999-151，June 1999.

[13]Land，E.H.The Retinex Theory of Color Vision，Scientific American，1977，vol.237.

[14]Pavlidis，T.and Liow，Y.T.Integrating Region Growing and Edge Detection，IEEE Trahs.on PatternAnalysis and Machine Intelligence，1990，vol.12，pp.225-233.

[15]Phung，S.L.，Bouzerdoum，A.and Chai，D.Skin Segmentation Using Color Pixel Classification：Analysis and Comparison，IEEE Trans.on Pattern Aualysis and Machine Intelligence，January，2005，vol.27，no.1，pp.148-154.

[16]Phung，S.L.，Chai，D.and Bouzerdoum，A.Adaptive Skin Segmentation in Color Images，In Proc.ofthe IEEE Int’l Conf.on Acoustics，Speech，and Signal Processing，April 6-10，2003，vol.3，pp.353-356.

[17]Piater，J.H.Mixture Models and Expectation-Maximization，Lecture at ENSIMAG，May 2002，updated on Nov 15，2004.

[18]Roberts，S.J.and Rezek，L.Bayesian Approaches to Gaussian Mixture Modeling，IEEE Trans.onPattern Analysis and Machine Intelligence，November 1998，vol.20，no.11.

[19]Shaked，D.and Keshet，R.Robust Recursive Envelope Operators for Fast Retinex，Hewlett PackardTech.Rep.HPL-2002-74(R.1)，Mar 11，2004.

[20]Zarit，B.D.，Super，B.J and Quek，K.H.Comparison of Five Color Models in Skin PixelClassification，In Proc.of the ICCV’99 Int’l Workshop on Recognition，Analysis，and Tracking of Faces andGestures in Real-time System，September，1999，pp.58-63.

[21]Zheng，Q.F.，Zhang，M.J.and Wang，W.Q.A Hybrid Approach to Detect Adult Web Images，PCM2004，Springer-Verlag，Berlin，Heidelberg，2004，pp.609-616.

[22]Zhu，Q.，Wu，C.T.，Cheng，K.T.and Wu，Y.L.An Adaptive Skin Model and Its Application toObjectionable Image Filtering，In Proc.of the ACM Int’l Conf.on Multimedia(MM’04)，New York，NY，USA，Oct 10-16，2004.

[23]Zivkovic，Z.and Heijden，F.Recursive Unsupervised Learning of Finite Mixture Models，IEEETrans.on Pattern Analysis and Machine Intelligence，May 2004，vol.26，no.5.

[24]Zhou Wang，Alan Conrad Bovik，Hamid Rahim Sheikh and Eero P.Simoncelli，IEEEImage QualityAssessment：From Error Visibility toStructural SimilarityIEEE TRANSACTIONS ON IMAGEPROCESSING，APRIL 2004，VOL.13，NO.4.