基于共享弱分类器组合的人手分类器以及训练和检测方法

摘要

本发明公开了一种基于共享弱分类器组合的人手分类器及其检测方法，能够从杂乱背景中检测多姿态手。在分类器训练过程中boosting的每一轮，都选取一组共享特征，使用该组共享特征构建一个对应的共享弱分类器组合。同时，使用共享特征组合构建对应的多阈值共享弱分类器组合，提升了分类器的分类能力。

说明书

技术领域

本发明属于计算机视觉以及机器学习领域，适用于对具有较强外观多样性 的目标训练一个强分类器，并使用该分类器在复杂的背景中对该目标进行检测。

背景技术

随着计算机科学技术的快速发展，人机交互的方式变的多样化，交互体验 也有显著的提高，基于计算机视觉的手势操控是近年来应用较多的一种方式。 目前，许多智能电视都配备了手势操控的功能。利用手势进行设备的操控，其 核心技术为手势的识别与手的跟踪，而这两个核心技术的前提是能够从摄像头 捕获的图像中精确地检测到手出现的位置。然而，由于手的变化多样性很强， 从杂乱背景中检测多种姿态的手的效果并不理想。

目前对手进行检测的方法总体上可以分为两大类，分别是仅利用普通单目 光学摄像头捕获的图像进行手的检测的方法，以及利用摄像头和其他辅助设备 如红外发射接收装置等得到的信息来检测图像中的手。后者使用高成本的设备 获得关于目标更为丰富的信息，从而能够仅使用简单的软件算法而得到较准确 的检测结果。而前者设备成本较低，容易获得，但捕获的信息较少，所以算法 较为复杂，且检测效果稍差一些。利用普通单目光学摄像头捕获的图像进行手 的检测，具体方法又可以分为三类，分别为基于颜色信息的方法，基于运动信 息的方法，以及基于机器学习的方法。

(1)基于颜色信息的方法

这种方法根据人手皮肤的颜色建立肤色模型，将肤色模型与捕获到的图像 进行匹配，匹配成功的区域为肤色区域，即可认为是手所在的区域。也可以进 一步通过其他辅助条件对肤色区域进行进一步的筛选，以获得更准确的手的位 置。这种方法简单易行，计算复杂度低，检测效率高，但由于对颜色敏感，容 易受到环境光照变化和不同个体肤色差异性的影响，从而导致检测准确度的降 低。

(2)基于运动信息的方法

这种方法根据摄像头连续捕获的视频帧序列确定图像中运动的身体部位， 并将其分割出来。在此分割的基础上再增添限制条件，进一步确定手所在的位 置。这种方法避免了基于颜色的方法中环境光照变化和肤色差异对检测效果的 影响，但是缺点是不能检测静止的目标，并且要求摄像头须为固定放置的。

(3)基于机器学习的方法

基于机器学习的方法通过从图像中提取特征，训练分类器来对手进行检测。 这种方法相对于前两种方法较为复杂，且通过机器学习训练分类器是一个比较 耗时的过程。如何有效的从图像中提取特征，并使用较少的时间训练出一个对 多种姿态的手都具有较强分类能力和较快检测速度的分类器是最关键的问题。 Antonio Torralba等人在2004年的CVPR(IEEE Conference of Computer Vision and  Pattern Recognition)会议上发表的论文《Sharing features:efficient boosting  procedures for multiclass object detection》中提出的JointBoost算法。该算法使用 了不同类目标间的共享特征来训练分类器，但是对于共享特征未覆盖到的类别 不能有效的分类，并且某个共享弱分类器选取的是否合适，会严重影响后续特 征的选择以及分类器的构建，导致影响整个分类器性能。

发明内容

本发明的目的在于提供一种基于共享分类器组合的人手分类器及其实现方 法。使用从样本集图像中提取的特征，训练出一个具有较强鲁棒性的分类器， 即对多种姿态的手都能有效检测，同时该分类器与其他方法训练得到的分类器 相比检测速度更快。

基于此目的，本发明的人手分类器由多级强分类器级联构成，每一级强分 类器由多对共享弱分类器组合构成；待检目标图像必须被每一级强分类器判断 为“包含人手”，整个级联分类器才会最终判断为“包含人手”，否则判断为“不 包含人手”。

本发明所述的人手分类器的训练方法为：假设一共有C类样本类别，N个训 练样本，每个训练样本v_i对于类别c的权重为共有C个权重；nf个弱分 类器作为一个组合，且样本集被划分为了nf个子集，则，第k个弱分类器为：

$h_m^{\mathrm{nf}}(k,v_i,c)=\left(\begin{array}{ccccc}{a}_k& \mathrm{if}& v_i^{f_k}>{\theta }_c^k& \mathrm{and}& c\in S_k\left(\mathrm{nf}\right)\\ b_k& \mathrm{if}& v_i^{f_k}<{\theta }_c^k& \mathrm{and}& c\in S_k\left(\mathrm{nf}\right)\end{array}\right),k=\mathrm{1,2},...,\mathrm{nf}---\left(1\right)$

其中，m为当前所在一级强分类器训练的轮数，为训练样本中第i个样本 的第k个特征的值，为第k个弱分类器对应于类别c的阈值，S_k(nf)为nf个 子集中的第k个子集；

该组弱分类器组合表示为：

$g_m^{\mathrm{nf}}(v_i,c)=\left(\begin{array}{ccc}{h}_m^{\mathrm{nf}}(1,v_i,c)& \mathrm{if}& c\in S_1\left(\mathrm{nf}\right)\\ h_m^{\mathrm{nf}}(2,v_i,c)& \mathrm{if}& c\in S_2\left(\mathrm{nf}\right)\\ & ...& \\ h_m^{\mathrm{nf}}(\mathrm{nf},v_i,c)& \mathrm{if}& c\in S_k\left(\mathrm{nf}\right)\end{array}\right);---\left(2\right)$

其中，该组合的集合中，两两子集互斥，全部子集的并集为全部的样本类 别；

该组弱分类器组合的损失函数为：

$J_m^{\mathrm{nf}}={\Sigma }_{c=1}^C{\Sigma }_{i=1}^N{w}_i^c(z_i^c-g_m^{\mathrm{nf}}(v_i,c))---\left(3\right)$

该组弱分类器的个数平均每减少1，该组弱分类器组合的分类误差总和的增 加为：

$\overline{{\mathrm{\Delta J}}^{\mathrm{nf}}}=\frac{{\mathrm{\Delta J}}^{\mathrm{nf}}}{\mathrm{\Delta nf}}=\frac{J^{\mathrm{nf}}-J^C}{C-\mathrm{nf}},---\left(4\right)$

其中，J^C为弱分类器的个数为C时，该组弱分类器组合的误差总和，J^nf为 弱分类器的个数为nf时，该组弱分类器组合的误差总和，

在上述公式(4)中，以最小为目标，选取弱分类器组合；

在训练每一级强分类器的过程中，每训练得到一个弱分类器组合，计算当 前状态下强分类器对训练样本分类的误检率，如果该误检率高于该级强分类器 的误检率阈值，则继续训练，否则训练结束。

本发明所述的人手检测方法包括以下步骤：

(1)采集待检测图像；

(2)对待检测图像进行特征提取；

(3)将步骤(2)提取的特征与每一个弱分类器的阈值进行比较，得到 弱分类器的输出；

(4)将强分类器下各个弱分类器的输出值累计相加求和，然后将该求和与 强分类器的阈值比较，如果求和大于强分类器的阈值，则判断为人手，进行下 一级的判断，只有每一级均判断为人手，最终人手分类器才判断为人手，否则 结束。

所述步骤2中提取的特征包括：Haar特征、HOG特征以及方差特征。

与现有技术相比，本发明通过在boosting的每一轮中训练一组共享弱分类 器的方法，以及对每个弱分类器使用于目标类别对应的多个阈值的方法，避免 了JointBoost算法中可能出现的对于未被共享特征覆盖到的目标类别无法有效 分类的问题。而由于多个类别目标间的共享特征，在使用该共享特征训练得到 的弱分类器对这些类别的目标进行检测的时候，弱分类器也可以共享，从而减 少了检测时的总体的判断次数，加快了检测速度。

附图说明

下面结合附图说明和具体实施方式对本发明作进一步详细说明。

图1基于共享弱分类器组合的人手分类器整体结构框图；

图2每一级强分类器训练流程图；

图3使用最缓误差上升准则选择弱分类器组合中分类器个数示意图；

具体实施方式

本发明所述的人手检测方法分为待检图像读入、图像特征计算、人手目标 判断，以及检测结果输出这四部分组成。具体包括人手训练集与测试集的建立、 样本的特征提取方法以及分类器的训练方法。对于分类器的训练方法，为了实 现本发明的目的，本发明在JointBoost算法的基础上采用以下方法做出了多处改 进：

首先，在训练分类器的过程中，在boosting的每一轮，得到若干个共享特 征的组合。对于共享组合中每个特征的样本类别所组成的集合两两互斥，并且 全部集合的并集为全部的样本类别。根据这样的一个共享特征的组合，训练出 一组对应的弱分类器。为了确定共享特征组合中特征的个数，定义了一个“最 小误差上升”的判别准则。

其次，对于每一个弱分类器，其函数的输出值是根据样本的某个特征的值 与分类器的阈值进行比较得出的结果确定的。由于涉及到多姿态或多类目标的 检测，本发明中每个弱分类器根据类别的不同，对各个类别分别设定了一个更 加适合的阈值，以加强分类器对于不同类别目标与背景之间的分类能力。

首先，对分类器的整体结构与工作过程进行描述。图1为本发明基于共享 弱分类器组合的人手分类器的整体结构框图。待检测的图像窗口被读入后，首 先需要对图像进行特征提取。本发明的分类器根据待检目标图像的Haar特征、 HOG特征以及方差特征进行判断是否包含人手，因此需要对该待检目标图像进 行计算，提取出对应的三种特征。

得到待检目标图像的Haar、HOG以及方差特征后，将这三种特征的值输入 到训练得到的分类器中。通过与一系列的阈值进行比较后，综合所有的特征对 应的得分情况，分类器给出最终的判断，该目标图像是否包含人手。分类器采 用多级强分类器级联的结构，待检目标图像必须通过每一级强分类器，均被判 断为“包含人手”，整个级联分类器才会最终判断为“包含人手”，否则，任意 一级强分类器判断为“不包含人手”都会导致待检目标图像在该级退出，并且 被级联分类器最终判断为“不包含人手”。级联分类器的使用大幅降低了误检的 发生。

下面对本发明基于共享弱分类器组合的人手分类器的训练方法进行描述。

整个分类器由多级强分类器级联构成，而每一级强分类器由若干对共享弱 分类器组合共同构成。对于每一级强分类器的获得，首先设置一个误检率阈值， 在训练得到每一组共享弱分类器组合后，都综合目前已经获得的所有弱分类器 组合对训练样本进行一次判断，若误检率高于预设的阈值，则继续下一轮的弱 分类器组合的训练；相反，若低于预设的阈值，则不再进行下一轮，本级强分 类器训练完毕。将所有训练得到的共享弱分类器组合合在一起即为该级强分类 器。

下面对于共享弱分类器组合以及训练方法进行描述。

假设一共有C类，一共有N个训练样本，每一个训练样本v_i对于类别c的 权重为且共有C个权重。假设有nf个弱分类器作为一个组合，且样本集被 划分为了nf个子集，则第k个弱分类器表示为：

$h_m^{\mathrm{nf}}(k,v_i,c)=\left(\begin{array}{ccccc}{a}_k& \mathrm{if}& v_i^{f_k}>{\theta }_c^k& \mathrm{and}& c\in S_k\left(\mathrm{nf}\right)\\ b_k& \mathrm{if}& v_i^{f_k}<{\theta }_c^k& \mathrm{and}& c\in S_k\left(\mathrm{nf}\right)\end{array}\right),k=\mathrm{1,2},...,\mathrm{nf}---\left(1\right)$

其中为该分类器对应于类别c的阈值，这样每一个弱分类器h_m对于不同的类 别就会有多个不同的阈值。该组弱分类器组合可以表示为：

$g_m^{\mathrm{nf}}(v_i,c)=\left(\begin{array}{ccc}{h}_m^{\mathrm{nf}}(1,v_i,c)& \mathrm{if}& c\in S_1\left(\mathrm{nf}\right)\\ h_m^{\mathrm{nf}}(2,v_i,c)& \mathrm{if}& c\in S_2\left(\mathrm{nf}\right)\\ & ...& \\ h_m^{\mathrm{nf}}(\mathrm{nf},v_i,c)& \mathrm{if}& c\in S_k\left(\mathrm{nf}\right)\end{array}\right),---\left(2\right)$

其中且${\cup }_{k=1}^{\mathrm{nf}}{S}_k\left(\mathrm{nf}\right)=S.$

此时的损失函数用弱分类器的形式可以表示为：

$\left(\begin{array}{c}{J}_m^{\mathrm{nf}}={\Sigma }_{c\in S_1\left(\mathrm{nf}\right)}{\Sigma }_{i=1}^N{w}_i^c{(z_i^c-h_m^{\mathrm{nf}}(1,v_i,c))}^2+{\Sigma }_{c\in S_2\left(\mathrm{nf}\right)}{\Sigma }_{i=1}^N{w}_i^c(z_i^c-\\ h_m^{\mathrm{nf}}(2,v_i,c){)}^2+...+{\Sigma }_{c\in S_k\left(\mathrm{nf}\right)}{\Sigma }_{i=1}^N{w}_i^c{(z_i^c-h_m^{\mathrm{nf}}(\mathrm{nf},v_i,c))}^2\end{array}\right)---\left(3\right)$

如果使用弱分类器组合来表示损失函数，则为：

$J_m^{\mathrm{nf}}={\Sigma }_{c=1}^C{\Sigma }_{i=1}^N{w}_i^c(z_i^c-g_m^{\mathrm{nf}}(v_i,c))---\left(4\right)$

当nf＝1时，表示选取的特征为所有样本分组所共享，因此只选取出一个共享特 征，并构建一个所有样本分组共享的弱分类器；而当nf＝C时，即表示将样本集 按照样本自身的类别进行分组，对每一类分别单独进行训练，因此不使用共享 特征。当nf＝C时，损失函数的值达到最小，但是分类器数量达到最大，导致检 测速度也是最慢的。而当nf逐渐减少时，损失函数的值会有所增大，但是分类 器数量减少，检测速度增快。

为了得到合适的nf值，使用最缓误差上升的判别准则对nf的值进行选取。 首先，我们对这C类样本分别各自使用独有特征训练，则得到的弱分类器组合 中有C个非共享的弱分类器，且假设它们的误差总和为J^C。然后，减少分类器 组合中弱分类器的个数至C-1(一个弱分类器变为两类样本的共享弱分类器)， 此时误差总和为J^C-1。那么，当弱分类器个数减少1时，分类误差总和增加了 ΔJ^C-1＝J^C-1-J^C。重复这一过程，当分类器组合中弱分类器个数减少至nf时(一 些弱分类器可能共享与几类样本之间，可能还存在一些剩下几类样本各自的独 有弱分类器)，分类误差总和增加了ΔJ^nf＝J^nf-J^C，弱分类器的个数平均每减少 1，弱分类器组合的分类误差总和的增加这样表示：

$\overline{{\mathrm{\Delta J}}^{\mathrm{nf}}}=\frac{{\mathrm{\Delta J}}^{\mathrm{nf}}}{\mathrm{\Delta nf}}=\frac{J^{\mathrm{nf}}-J^C}{C-\mathrm{nf}}---\left(5\right)$

式(5)表示了随弱分类器组合中分类器个数减少，分类误差总和增加的快 慢，即误差上升梯度的概念。误差增量(分子)越大，组合中弱分类器个数的 减少量(分母)越小，则的值越大，表示选取nf个弱分类器的组合时，分 类误差增加体现出的负面效果相对于分类器个数减少体现出的积极效果越明显； 相反，分子越小，分母越大，则值越小，表示减少分类器个数带来的积极效 果越明显，而分类误差的增加越不明显。因此，如图1所示，我们选择使得的 值达到最小的弱分类器组合。横坐标为分类器组合中弱分类器的个数，纵坐标 为一组分类器的分类误差总和，线段1和线段2分别代表当分类器组中弱分类 器个数从C减少到1和nf个时，分类误差总和增加的趋势。线段1,2与横坐标 轴的夹角分别为α₁，α₂，且tanα₁与tanα₂的值分别表示了线段1与线段2的 梯度，即分类误差总和随组合中弱分类器减少而增加的快慢程度。图中tanα₁＞tanα₂，即2的误差增加较1更缓慢，所以2相对于1是一个更好的弱分类 器组合方案。