一种色情视频检测方法及检测系统

摘要

本发明提供一种色情视频检测方法，包括：在待检测视频的视频帧中，利用肤色模型和非肤色模型，计算视频帧的各个像素点的肤色概率值与非肤色概率值；根据视频帧中像素点的肤色概率值与非肤色概率值，为视频帧建立模版图像；根据模版图像，从视频帧中提取图像特征；将连续视频帧中的图像特征组成观测序列，将所述观测序列输入到色情镜头模型中以检测待检测视频是否为色情视频。本发明还提供了一种与色情视频检测方法相适应的检测系统。本发明在检测过程中采用了相邻视频帧的时序特性，使得整个视频检测方法的鲁棒性更强，检测准确率更高。

说明书

技术领域

本发明涉及视频检测领域，特别涉及一种色情视频检测方法及相应的检测系统。

背景技术

随着互联网的广泛应用，用户在获得大量有用信息的同时也可能遇到许多不良信息，其中尤其以色情视频最为严重。搜索引擎因其能够将大量成人网站地址提供给用户而恶化了这一现象。因此，进行色情信息的检测和过滤具有重要的意义。

过去的色情视频检测主要存在两种过滤方式。第一种是通过检测色情网站的网址进行封堵。但是，色情网站的网址通常是经常变化的，该系统需要大量的人力来搜集色情网站的网址，所以网址封堵的方式并不是一种可行的方法。另一种是通过视频相应的文本内容进行检测。尽管视频对应的文本内容分析方法更为准确，但是该方法对文本信息有很强的依赖性，而色情视频通常并没有相应文本介绍，因此该方法并不是可靠的方法。

基于以上分析，根据视频本身视觉特征检测其内容是更可靠和可行的解决方式。目前，已有大量的研究人员从事该方面的研究。在现有技术中，利用视频自身的视觉特征检测色情视频的方法主要包括以下几个步骤：

1、从一个视频中提取一个视频帧，对该帧是否为色情帧进行检测。由于每一帧都相当于一个静态图片，因此可采用现有的色情图片检测方法对该帧是否为色情帧进行检测。在检测过程中，通常采用建立肤色模型的方法，对图片中的肤色区域、肤色面积等进行检测，从而知道视频帧是否为色情帧。

2、在所要检测的视频中提取一定数量的视频帧，重复上述的色情帧检测过程，得到相应的检测结果。

3、根据检测到的色情帧占提取的视频帧的比例，判断所要检测的视频帧是否为色情视频。

上述类型的方法中，最主要的工作集中在如何建立理想的肤色模型和如何提高色情图片的检测准确率。此类方法的一个局限性在于，它在色情识别时所采用的特征仍然是图像的静态特征，而与静态图像相比，视频本身还具有其它独有的特性，如视频时序特性等，这些特性在色情视频的识别中并没有得到应用。

在实际应用中，现有的色情视频方法存在以下限制检测准确率的因素：

a)、在实际的检测过程中，由于人种的多样性、光线的变化等因素，使得很难建立完善的肤色模型以实现肤色点的准确检测；

b)、人体姿态多样性，遮挡等外界因素使得难以实现色情图片的准确检测；

c)、对于不同的视频难以建立通用的规则，通过色情图片的检测来实现色情视频的准确检测。

鉴于现有的色情视频方法所具有的上述缺陷及局限，需要一种新的色情视频检测方法。

发明内容

因此，本发明的任务是克服现有的色情视频检测方法在色情视频检测过程中无法应用视频时序特性、从而影响检测准确率的缺陷，从而提供一种具有较高检测效率的色情视频检测方法。

为了实现上述目的，本发明提供了一种色情视频检测方法，包括以下步骤：

步骤1)、在待检测视频的视频帧中，利用肤色模型和非肤色模型，计算所述视频帧的各个象素点的肤色概率值与非肤色概率值；

步骤2)、根据视频帧中象素点的肤色概率值与非肤色概率值，为所述视频帧建立模版图像；

步骤3)、根据所述的模版图像，从所述视频帧中提取图像特征；

步骤4)、将连续视频帧中的图像特征组成观测序列，将所述观测序列输入到色情镜头模型中以检测待检测视频是否为色情视频。

上述技术方案中，在所述的步骤1)中，所述的肤色模型和非肤色模型利用图像数据库中的图像建立。

上述技术方案中，所述的建立肤色模型和非肤色模型包括以下步骤：

步骤1-1)、利用图像数据库中的图像建立训练集；所述训练集中的图像标注有肤色点和非肤色点；

步骤1-2)、利用步骤1-1)中的训练集样本，采用混合高斯模型训练肤色模型和非肤色模型。

上述技术方案中，所述的模版图像包括二值模版图像和灰度模版图像。

上述技术方案中，所述二值模版图像采用以下步骤建立：

首先，利用所述的肤色模型和非肤色模型标记所述视频帧中的肤色点和非肤色点，得到与所述视频帧对应的二值图像；

然后，对所述二值图像做连通区域分割，得到所述的二值模版图像。

上述技术方案中，所述灰度模版图像采用以下步骤建立：

首先，根据所述肤色概率值和非肤色概率值计算所述视频帧中各个象素点的初始灰度值；

然后，对整个视频帧中各个象素点上的初始灰度值做线性归一化处理，得到各个象素点的最终灰度值，从而得到所述的灰度模版图像。

上述技术方案中，所述的线性归一化处理采用如下公式：

$P_{\mathrm{Scale}}=\frac{P-P_{\mathrm{Min}}}{P_{\mathrm{Max}}-P_{\mathrm{Min}}}$

其中，P_Scale表示所述的最终灰度值，P_Min和P_Max分别表示一幅图像中象素点的最小灰度值和最大灰度值。

上述技术方案中，在所述的步骤3)中，所述的图像特征至少包括以下一种特征：

整幅图像的平均肤色概率，所有肤色区域内平均肤色概率，所有肤色区域外平均肤色概率，最大连通区域面积，最大连通区域的平均肤色概率，拟合椭圆区域的长轴、短轴、长轴绕纵轴逆时针旋转的角度及其面积。

上述技术方案中，在所述的步骤4)中，所述的色情镜头模型利用训练集的视频帧中所提取的图像特征建立。

上述技术方案中，所述的色情镜头模型为隐马尔可夫模型。

上述技术方案中，采用所述的隐马尔可夫模型检测色情视频时，将所述的观测序列作为所述隐马尔可夫模型的输入值，所述隐马尔可夫模型根据该输入值得到一个用于表示镜头是否为色情镜头的概率值，将所述概率值与一个设定的阈值进行比较，若所述概率值大于所述的阈值，则待检测视频为色情视频，否则为非色情视频。

上述技术方案中，所述阈值的大小在0.5到0.7之间。

本发明还提供了一种色情视频检测系统，包括：

肤色概率值与非肤色概率值计算模块，该模块用于在待检测视频的视频帧中，利用肤色模型和非肤色模型，计算所述视频帧的各个象素点的肤色概率值与非肤色概率值；

模版图像建立模块，该模块根据视频帧中象素点的肤色概率值与非肤色概率值，为所述视频帧建立模版图像；

图像特征提取模块，该模块根据所述的模版图像，从所述视频帧中提取图像特征；

色情视频检测模块，该模块用于将连续视频帧中的图像特征组成观测序列，然后将所述观测序列输入到色情镜头模型中以检测待检测视频是否为色情视频。

本发明的优点在于：

1、本发明的色情视频检测方法在检测过程中采用了相邻视频帧的时序特性，使得整个视频检测方法的鲁棒性更强，检测准确率更高。

2、本发明的色情视频检测方法在检测过程中采用了相邻视频帧的时序特性，使得在检测过程中降低了对肤色模型准确率的依赖性；

3、本发明的色情视频检测方法在检测过程中，检测的准确率既依赖于单帧图象的信息，也依赖于相邻帧特征的关系，所以在检测过程中降低了对单帧图象处理和检测准确率的依赖性；

4、本发明的色情视频检测方法在检测过程中，不需要复杂的肤色区域分割算法。

附图说明

以下，结合附图来详细说明本发明的实施例，其中：

图1为本发明的色情视频检测方法在一个实施方式中的流程图。

具体实施方式

下面结合附图和具体实施方式，对本发明的色情视频检测方法进行说明。

与现有技术中的色情视频检测方法相比，本发明的色情视频检测方法在进行色情视频检测时，利用了视频的时序特性。在本发明中所涉及的视频时序特性是指视频相邻帧图象特征在时间上的变化特性，如颜色、纹理等特征的变化会随着时间表现出一定的特性，这种特性就可以被认为是视频时序特性。本发明的色情视频检测方法在实现时，首先在待检测的视频或视频片段的各个视频帧中提取图像特征，然后对连续的视频帧中所提取的图像特征进行处理，根据处理的结果判断所检测的视频是否为色情视频。在上述检测过程中，无需对单帧是否为色情帧做出判断。

下面结合图1，对本发明的色情视频检测方法的一个最佳实施方式的具体实现步骤做进一步的说明：

步骤10、建立肤色模型和非肤色模型，具体而言，所述的肤色模型和非肤色模型的建立过程可以包括以下两个步骤：

步骤11、建立训练集。建立训练集是肤色模型建立过程中的常见步骤，该步骤中所要完成的主要任务是建立大量的图像数据库，并对图像数据库中的图像标注肤色点和非肤色点，标注后的图像可以用于后续的肤色点模型以及非肤色点模型的训练过程。一般来说，本步骤中标注肤色点和非肤色点的操作都是通过人工实现的。

步骤12、建立肤色模型和非肤色模型。

在建立肤色模型的过程中，每个肤色象素点的颜色可以被认为是一个观测X，所述的观测X表示肤色点RGB值，它是建立模型的输入训练数据。所述的观测X可以被认为是由特定的单高斯概率密度函数集合G＝{p_i(X；θ)，i＝1，2，......}中有限个元素的加权平均组合而成。此观测X的概率密度函数p(X；φ)可以表示为混合高斯模型(GMM)的如下形式：

$\left(\begin{array}{c}p(X;\phi )=\underset{i=1}{\overset{g}{\Sigma }}{\pi }_i·p_i(X;\theta )=\underset{i=1}{\overset{g}{\Sigma }}{\pi }_i·p_i\left(X\right|i;\theta )=\underset{i=1}{\overset{g}{\Sigma }}{\pi }_i·\frac{1}{{\left(2\pi \right)}^{d/2}{\left({\Sigma }_i\right)}^{1/2}}{\exp }^{-\frac{1}{2}{(x-\mu )}^i{\left(\Sigma \right)}^{-1}(X-\mu )}\\ \underset{i=1}{\overset{g}{\Sigma }}{\pi }_i=1\end{array}\right)$

其中，π_i为权重，θ为由均值和协方差矩阵组成的参数向量。未知参数π_i和θ可以通过期望最大化算法(Expectation Maximization，简记为：EM)，利用步骤11所得到的训练集中，所标注的肤色点和非肤色点样本计算得到。EM算法的实现是成熟的现有技术，本领域的普通技术人员根据参考文献1：“模式分类，Richard 0.Duda，Peter E.Hart，David G.Stork，机械工业出版社，2005”实现该算法。在本实施方式中，选用象素点的RGB分量构成特征向量用于模型训练；对于每个GMM模型选用16个单高斯模型构成。

通过上述计算，得到观测X的概率密度函数后，也就建立了相应的肤色模型。

建立非肤色模型的过程与上述的建立肤色模型的过程相类似，都采用了前述的混合高斯模型(GMM)，两者的不同点在于，建立肤色模型的过程中，输入数据为肤色点的RGB值，而建立非肤色模型的过程中，输入数据为非肤色点的RGB值。其余操作步骤在前述说明中已经有相关的描述，在此不再做重复说明。

本步骤的建立肤色模型和非肤色模型的操作不是色情视频检测所必需的步骤，如果在色情视频检测过程中存在现有的肤色模型与非肤色模型，则本步骤可以省略。

步骤20、在一个视频帧中，通过步骤10得到的肤色模型和非肤色模型，对视频帧中的各个象素点计算肤色概率值和非肤色概率值，根据肤色概率值及非肤色概率值之间的比较，可知道某一个象素点是否为肤色点。在本步骤中，肤色概率值表示一个象素点是肤色点的概率，类似地，非肤色概率值表示一个象素点不是肤色点的概率。将肤色象素点的RGB值输入到肤色模型的GMM模型中，所得到的输出结果就是肤色概率值。同样的，将非肤色象素点的RGB值输入到非肤色模型的GMM模型中，所得到的输出结果就是非肤色概率值。用P_Skin表示肤色概率值，用P_Non-Skin表示非肤色概率值，如果满足P_Skin>P_Non-Skin，则该象素点为肤色点，否则，该象素点为非肤色点。

步骤30、为视频帧建立模版图像。在本实施方式中，为视频帧所建立的模版图像包括二值模版图像和灰度模版图像，它们的创建过程存在差异，下面分步骤进行描述。

步骤31、建立二值模版图像。在前一个步骤中，已经利用肤色模型和非肤色模型对视频帧的象素点是否为肤色点进行了判断，因此，在本步骤中，对肤色点用“1”做标记，对非肤色点用“0”做标记，从而可以得到与原图像对应的二值图像，将此二值图像再做连通区域分割，就得到原图像对应的二值模版图象Mask₁。本步骤的实现都是现有技术，其中关于连通区域分割的相关操作可参见参考文献2“计算机视觉，贾云得，北京：科学出版社，2000”。

步骤32、建立灰度模版图像。在本步骤中，首先计算视频帧中的各个象素点的初始灰度值P，初始灰度值的计算与前述步骤中所得到的肤色概率值和非肤色概率值相关，其计算公式为：

$P=\frac{P_{\mathrm{Skin}}}{P_{\mathrm{Skin}}+P_{\mathrm{Non}-\mathrm{Skin}}};$

然后对整个视频帧中各个象素点上的初始灰度值做线性归一化处理，得到各个象素点的最终灰度值P_Scale，一个视频帧中所有象素点都进行线性归一化处理后，也就得到与原图像对应的灰度模版图像Mask₂。上述过程中，线性归一化处理的公式如下：

$P_{\mathrm{Scale}}=\frac{P-P_{\mathrm{Min}}}{P_{\mathrm{Max}}-P_{\mathrm{Min}}}$

其中，P_Min和P_Max分别表示一幅图像中象素点的最小灰度值和最大灰度值。

步骤40、对当前视频帧提取图像特征。在本实施方式中，所提取的图像特征包括整幅图像的平均肤色概率，所有肤色区域内平均肤色概率，所有肤色区域外平均肤色概率，最大连通区域面积，最大连通区域的平均肤色概率，拟合椭圆区域的长轴、短轴、长轴绕纵轴逆时针旋转的角度及其面积等。本领域的普通技术人员应当了解，在其他的实施方式中，可以从上述图像特征中选择其中的几个，也可以选用其他的图像特征。

下面对各个图像特征的提取过程进行说明：

步骤41、利用前一步骤中所得到的灰度模版图像，提取整幅视频帧图像的平均肤色概率P_Image，其计算公式如下：

$P_{\mathrm{Image}}=\frac{1}{M\times N}\underset{j=1}{\overset{N}{\Sigma }}\underset{i=1}{\overset{M}{\Sigma }}\mathrm{Gray}(i,j)$

其中，Gray(i，j)表示图像Mask₂中位置(i，j)的灰度值，M和N分别表示灰度模版图像的宽和高。

步骤42、利用前一步骤中所得到的模版图像，计算所有肤色区域内平均肤色概率。在计算时，只要计算图像Mask₁中灰度为“1”的点对应图像Mask₂的象素点的灰度的平均值。

步骤43、利用前一步骤中所得到的模版图像，计算所有肤色区域外平均肤色概率。在计算时，只要计算图像Mask₁中灰度为“0”的点对应图像Mask₂的象素点的灰度的平均值。

步骤44、计算最大连通区域面积。在计算时，计算图像Mask₁中灰度为“1”的各个连通区域包含的象素点最多的区域所对应的象素点数。

步骤45、计算最大连通区域的平均肤色概率。在计算时，计算步骤44中得到的最大连通区域在图像Mask₂对应象素点的平均灰度值。

步骤46、计算拟合椭圆区域的长轴、短轴、长轴绕纵轴逆时针旋转的角度及其面积。在本步骤中，所述的拟合椭圆是用来表征最大连通区域形状的一个图形，该椭圆的形状、大小可以用来反映最大连通区域的形状、大小。在对拟合椭圆区域进行相关计算前，首先计算最大连通区域的中心的坐标(r，c)，它的计算公式如下：

其中，y_s表示各象素点灰度值，r_s和c_s分别表示象素点S的横坐标和纵坐标，R表示最大连通区域，A表示一幅图像中所有象素点灰度值的和。

然后计算最大连通区域的二阶矩，其计算公式如下：

二阶行矩：${\mu }_{\mathrm{rr}}=\frac{1}{A}\underset{s\in R}{\Sigma }{(r_s-r)}^2{y}_s$

二阶列矩：${\mu }_{\mathrm{cc}}=\frac{1}{A}\underset{s\in R}{\Sigma }{(c_s-c)}^2{y}_s$

二阶混合矩：${\mu }_{\mathrm{rc}}=\frac{1}{A}\underset{s\in R}{\Sigma }(r_s-r)(c_s-c)y_s;$

接着，用椭圆拟合最大连通区域，并计算该椭圆区域的长轴l_major，短轴l_minor和长轴绕纵轴逆时针旋转的角度θ，存在如下四种情况：

a、当μ_rc＝0，且μ_rr>μ_cc时：

b、当μ_rc＝0，且μ_rr≤μ_cc时：

c.当μ_rc≠0，且μ_rr≤μ_cc时：

$\left(\begin{array}{c}{l}_{\mathrm{major}}=\sqrt{8(({\mu }_{\mathrm{rr}}+{\mu }_{\mathrm{cc}})+\sqrt{{({\mu }_{\mathrm{rr}}-{\mu }_{\mathrm{cc}})}^2+4{{\mu }_{\mathrm{rc}}}^2})}\\ l_{\min \mathrm{or}}=\sqrt{8(({\mu }_{\mathrm{rr}}+{\mu }_{\mathrm{cc}})-\sqrt{{({\mu }_{\mathrm{rr}}-{\mu }_{\mathrm{cc}})}^2+4{{\mu }_{\mathrm{rc}}}^2})}\\ \theta =\arctan \frac{-2{\mu }_{\mathrm{rc}}}{({\mu }_{\mathrm{rr}}-{\mu }_{\mathrm{cc}})+\sqrt{{({\mu }_{\mathrm{cc}}-{\mu }_{\mathrm{rr}})}^2+4{{\mu }_{\mathrm{rc}}}^2}}\end{array}\right)$

d.当μ_rc≠0，且μ_rr>μ_cc时：

$\left(\begin{array}{c}{l}_{\mathrm{major}}=\sqrt{8(({\mu }_{\mathrm{rr}}+{\mu }_{\mathrm{cc}})+\sqrt{{({\mu }_{\mathrm{rr}}-{\mu }_{\mathrm{cc}})}^2+4{{\mu }_{\mathrm{rc}}}^2})}\\ l_{\min \mathrm{or}}=\sqrt{8(({\mu }_{\mathrm{rr}}+{\mu }_{\mathrm{cc}})-\sqrt{{({\mu }_{\mathrm{rr}}-{\mu }_{\mathrm{cc}})}^2+4{{\mu }_{\mathrm{rc}}}^2})}\\ \theta =\arctan \frac{({\mu }_{\mathrm{rr}}-{\mu }_{\mathrm{cc}})+{\sqrt{{({\mu }_{\mathrm{cc}}-{\mu }_{\mathrm{rr}})}^2+4{{\mu }_{\mathrm{rc}}}^2}}_{\mathrm{rc}}}{-2\mu }\end{array}\right)$

最后，计算拟合椭圆的面积A_e：

$A_e=4\pi \sqrt{{\mu }_{\mathrm{rr}}{\mu }_{\mathrm{cc}}-{{\mu }_{\mathrm{rc}}}^2}$

步骤50、建立色情镜头模型，并利用该模型实现色情视频的检测。在色情镜头中，不仅单帧图像包含肤色信息，而且连续帧包含相关的肤色信息，因此为了更好地表征这种空间特征和时序特性，本发明中利用统计模型中的隐马尔可夫模型(HMM)建立色情镜头模型并用于色情视频的检测。本步骤包括模型训练阶段和测试阶段，两个阶段的具体说明如下：

步骤51、模型训练阶段。在该阶段中，首先要建立训练集。建立训练集就是人工建立色情视频片段数据集，对每个视频片段的连续帧提取如下特征：整幅图像的平均肤色概率，所有肤色区域内平均肤色概率，所有肤色区域外平均肤色概率，最大连通区域面积，最大连通区域的平均肤色概率，拟合椭圆区域的长轴，短轴，长轴绕纵轴逆时针旋转的角度及其面积，将上述提取图像特征后的连续帧作为训练样本。图像提取的具体操作在前述的说明中已经有了具体的说明，在此处不再做重复性说明。

在建立训练集后，再建立隐马尔可夫模型(HMM)。隐马尔可夫模型是一个成熟的算法，它相当于一个黑盒子，存在自己的计算方式。当用户将包含一定特征的数据输入到这一黑盒子后，该黑盒子可根据数据的特征建立对应的模型。当所输入的数据为包含有图像特征的连续数据帧时，这些相邻数据之间隐含了时序特性，当连续数据帧输入到隐马尔可夫模型后，所得到的输出结果中也包含了时序特性。HMM是一个双重随机过程，它由两个组成部分：a.马尔可夫链，该链用于描述状态的转移，用转移概率描述；b.一般的随机过程，该过程描述状态与观察序列间的关系，用观察值的概率描述。

HMM可以用一个五元组来表示：

λ＝(N，M，π，A，B)，

其中，N为状态数目；π为起始状态概率，π＝{π₁，π₂，......，π_N}；A为状态转移矩阵A＝{a_ij}＝p(Q_t＝j|Q_t-1＝i)；B为状态输出概率B＝{b_j(o_t)}＝p(Q_t＝o_t|Q_t＝j)，是观测事件对应状态的概率分布，也就是对于一个状态输出每个观测事件的概率；M为每个状态对应的观察事件数目。

HMM可以用来对连续状态转化进行描述，通过训练样本，即给定的观测序列O＝{O₁，O₂，......，O_T}通过EM算法得到该模型参数λ，使得：

${\lambda }^{*}=\arg \underset{\lambda }{\max }P\left(O\right|\lambda )$

这样，该HMM模型可以被用于描述给定类别的观测序列的状态转移关系。有关HMM的详细介绍，可见参考文献3“模式分类，Richard O.Duda，Peter E.Hart，David G.Stork，机械工业出版社，2005”。

上述的模型训练阶段并非色情视频检测过程中所必须经历的阶段，假如在色情视频检测中已经有现有的隐马尔可夫模型，则上述阶段可省去。

步骤52、测试阶段。在前述的步骤中，从视频或者其中的视频片段的连续帧提取步骤40中所述的特征组成观测序列后，将该观测序列作为HMM的输入，HMM输出一个用于表示镜头是否为色情镜头的概率值P，若P大于设定的阈值TH，则该镜头被判定为色情镜头，否则为非色情镜头。在本实施方式中，TH的取值范围在0.5-0.7之间，在本实施方式中选取为0.6。

本实施方式中还提供了与色情视频检测方法相对应的色情视频检测系统，该系统中包括：

肤色概率值与非肤色概率值计算模块，该模块用于在待检测视频的视频帧中，利用肤色模型和非肤色模型，计算所述视频帧的各个象素点的肤色概率值与非肤色概率值；

模版图像建立模块，该模块根据视频帧中象素点的肤色概率值与非肤色概率值，为所述视频帧建立模版图像；

图像特征提取模块，该模块根据所述的模版图像，从所述视频帧中提取图像特征；

色情视频检测模块，该模块用于将连续视频帧中的图像特征组成观测序列，然后将所述观测序列输入到色情镜头模型中以检测待检测视频是否为色情视频。

上述各个模块的具体工作流程在色情视频检测方法的相关步骤中已经有了详细的说明，因此，此处不再做重复性的描述。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。