一种基于随机蕨分类器的全自主在线学习方法

摘要

本发明公开了一种基于随机蕨分类器的全自主在线学习方法，该方法只需在视频帧中框选一次目标即可进行针对该目标类的分类器在线学习。步骤为：首先对框选的目标采用仿射变换得到初始的正样本集，在视频的非目标区域提取少量的负样本集训练初始随机蕨分类器；其次，使用该分类器在视频帧中进行目标检测。检测的过程中，采用最近邻分类器收集在线学习新样本，并自动判断样本类别；最后，将新样本用于随机蕨分类器的在线训练，更新随机蕨后验概率，逐渐提高分类器目标检测的精度，实现目标检测系统全自主在线学习。

说明书

技术领域

本发明属于模式识别领域，具体涉及一种基于随机蕨分类器的全自主在线学习方法。

背景技术

在线学习属于增量学习的研究范畴，在这一类方法中分类器对每个样本只学一次，而不是重复的学习，这样在线学习算法运行过程中不需要大量的存储空间来存储训练样本，分类器每获得一个样本，即对其进行在线学习，通过在线学习使分类器在使用过程中仍然能根据新样本自我更新和改进，进一步提高分类效果。

早期的在线学习算法有Winnow算法，统一线性预测算法等，2001年学者Oza将这些算法与boosting算法进行结合，提出了在线boosting算法(该算法引自“Online bagging andboosting”N.Oza and S.Russell，In Proc.Artificial Intelligence and Statistics,105-112,2001)，在Oza的方法中，每个特征对应一个弱分类器，而强分类器是一定数量的弱分类器的加权和，其中弱分类器都是从弱分类器集合中挑选出来的。在线学习时，每个训练样本逐一的更新弱分类器集合中的每个弱分类器，包括调整正负样本的分类阈值以及该分类器的权重，使好的弱分类器权重越来越高，而较差的弱分类器权重越来越低，从而每次在线学习一个样本就可以挑选出一个当前权重最高的弱分类器加入强分类器中使最终训练出来的分类器有较强的分类能力。

但是，在线boosting算法的弱分类器集合中每个弱分类器都要对新样本进行在线学习，当弱分类器个数较多时，在线学习速度必然会变慢。Grabner对在线boosting算法进行了改进，使其也象Adaboost算法一样可以进行特征选择，并且这种特征选择以及对分类器的更新都是在线进行的，称为在线Adaboost(该算法引自“On-line boosting and vision”H.Grabner and H.Bischof，In Proc.CVPR,(1):260-267,2006)。但是在线Adaboost用特征选择算子代替一般的弱分类器合成强分类器，特征选择算子数以及特征选择算子对应的弱分类器数都是固定的，相应的在线学习分类器结构比较僵化。当发现其分类能力无法满足检测性能的要求时，即使持续的在线学习下去也无法提高检测精度。

Ozuysal不再使用弱分类器组成强分类器进行样本分类，而是从样本特征集合随机抽取多个特征构成一个随机蕨，通过随机蕨统计训练样本后验概率分布，再由多个随机蕨的后验概率分布进行样本分类，即为随机蕨分类器算法(该算法引自“Fast keypoint recognition usingrandom ferns”In Pattern Analysis Machine Intelligence，IEEE Transaction on 32(3),448-461,2010)。

发明内容

本发明要解决的技术问题是：提供一种基于随机蕨分类器的全自主在线学习方法，用于分类器的自主学习以提高分类性能。

本发明为解决上述技术问题所采取的技术方案为：一种基于随机蕨分类器的全自主在线学习方法，其特征在于：它包括如下步骤：

1)准备初始训练分类器的样本集：

针对待检测的视频帧，在视频帧中框选出一个目标图片，对该目标图片进行仿射变换得到的图片作为正样本；以不含有目标的背景图像区域作为负样本；如此随机的获取一定数量的正样本和负样本作为初始训练分类器的样本集；正、负样本为大小相同的图像块；

2)随机蕨分类器初始训练：

使用准备好的初始训练分类器的样本集对随机蕨分类器进行初始训练，统计正负样本在每个随机蕨上的后验概率分布；

3)将初始训练好的随机蕨分类器作为当前目标检测器遍历待检测的视频帧进行目标检测，得到目标模块，并计算每个目标模块的置信度；

4)构建正负样本模板集：

将以下三种样本作为正样本模板添加到正样本模板集M⁺，其余添加到负样本模板集M^-：

A、步骤1)中得到的正样本；

B、对步骤3)中得到的置信度超过置信度预设值的目标模块，采用光流法对其所在视频帧进行跟踪得到跟踪模块，若跟踪模块与该目标模块有重合区域，且重合率超过预设重合率，则认为该跟踪模块是真实目标，作为正样本模板添加到M⁺中；

C、对步骤3)中得到的置信度超过置信度预设值的目标模块，采用光流法对其所在视频帧进行跟踪得到跟踪模块，若跟踪模块与该目标模块有重合区域，且重合率未超过预设重合率，则通过保守相似度S^c判断该跟踪模块能否加入正样本模板集：

$>S^c=\frac{S_{50\%}^{+}}{S_{50\%}^{+}+S^{-}}$>

其中：

如果S^c大于预设的保守相似度阈值，则该跟踪模块作为正样本模板加入M⁺，为待分类样本与当前正样本模板集的前半部分模板的相似度，S⁺、S^-分别为待分类样本与正、负样本模板集的相似度，为两个图像帧的相似度，p⁺，p^-分别为正样本和负样本，p为待分类样本，本步骤中待分类样本为跟踪模块；

每加入一个正样本模板，则取同一视频帧中其周围四个相同大小的图像块判断是否为负样本，若是作为负样本模板加入负样本模板集M^-；

5)使用最近邻分类器，获得在线学习的正负样本：

最近邻分类器的设置如下：对于每个待分类样本p，分别计算其与正负样本模板集的相似度S⁺(p,M⁺)及S^-(p,M^-)：

$>S^{+}(p,M^{+})={\max }_{p_i^{+}\in M^{+}}S(p,p_i^{+})$>

$>S^{-}(p,M^{-})={\max }_{p_i^{-}\in M^{-}}S(p,p_i^{-})$>

相应的可得相似度S^r：

$>S^r=\frac{S^{+}}{S^{+}+S^{-}}$>

若相似度S^r大于阈值θ_NN，则判断该待分类样本为真实目标，作为在线学习的正样本；否则为虚警，作为在线学习的负样本；

本步骤中待分类样本为步骤3)得到的目标模块和步骤4)得到的正负样本模板集；

(6)随机蕨分类器的在线训练：

使用步骤5)获得的在线学习的正负样本，对随机蕨分类器进行在线学习，逐渐提高其分类精度；

将在线学习的随机蕨分类器作为可持续更新的检测系统进行目标检测。

按上述方案，所述的步骤2)的具体方法如下：

2.1)构造随机蕨：

对初始训练分类器的样本集中的单个样本上随机取s对特征点作为一组随机蕨，每个样本取特征点的位置相同，每对特征点进行像素值的比较，每对特征点中前一个特征点像素值大则取特征值为1，反之则取特征值为0，s对特征点比较后得到的s个特征值按照随机的顺序构成一个s位的二进制数，即为该组随机蕨的随机蕨数值，每个样本的随机蕨中特征值的顺序一致；

2.2)计算随机蕨数值在正负样本类上的后验概率：

随机蕨中，有一部分为正样本得到的，其它为负样本得到的；随机蕨数值的取值种类有2^s个；

统计每种随机蕨数值的取值的正样本个数，从而获得随机蕨数值在正样本类C₁上的后验概率分布P(F_l|C₁)；同理获得随机蕨数值在负样本类C₀上的后验概率分布P(F_l|C₀)；联合所有随机蕨对初始训练分类器的样本集进行分类，即为随机蕨分类器；

所述的步骤3)采用上述随机蕨分类器在每帧视频图像中进行目标检测：

遍历待检测的每帧视频图像，在每帧视频图像中提取相同大小的图像块作为待测样本，待测样本的大小与步骤1)中正样本的大小相等，计算每个待测样本的随机蕨数值，从而得到相应的后验概率，最后由随机蕨分类器计算其类别；

对于类别为正样本的图像块，则作为目标被检测出来。

按上述方案，所述的步骤4)每加入一个正样本模板，则取同一视频帧中其周围四个相同大小的图像块判断是否为负样本时，引入高斯背景建模，若图像块内前景像素小于前景像素阈值，则判断它为负样本。

按上述方案，所述的步骤4)还包括模板集消减机制：待分类样本与正负模板集的相似度等于待分类样本与正负模板集中单个正负样本模板之间相似度的最大值；实时统计各个正负样本模板获得该最大值的次数，若某正负样本模板获得的该最大值的次数小于最大值次数预设值，则去除对应的正样本模板或负样本模板。

按上述方案，所述的步骤6)随机蕨分类器的在线学习通过更新后验概率分布实现。

按上述方案，所述的步骤6)具体方法如下：

6.1)将步骤5)获得的正负样本作为在线学习样本；设一个在线学习样本为(f_new，c_k)，其中f_new为随机蕨s位的二进制数，c_k为样本类别，计算该在线学习样本的随机蕨数值；

6.2)对步骤2.1)样本集中类别为c_k的样本总数加1，类别为c_k的与该在线学习样本的随机蕨数值相同的样本数加1；其它随机蕨数值的样本数不变；

6.3)根据更新后的样本数，重新计算随机蕨数值在该样本类上的后验概率分布；

6.4)每新增一个在线学习样本，便重复6.1)至6.3)对后验概率分布进行更新一次。

本发明的有益效果为：

1、只需在视频帧中框选一次目标即可进行针对该目标类的分类器在线学习，即：首先对框选的目标采用仿射变换得到初始的正样本集，在视频的非目标区域提取少量的负样本集训练初始随机蕨分类器；其次，使用该分类器在视频帧中进行目标检测；检测的过程中，采用最近邻分类器收集在线学习新样本，并自动判断样本类别；最后，将在线学习新样本用于随机蕨分类器的在线训练，更新随机蕨后验概率，逐渐提高随机蕨分类器目标检测的精度，实现目标检测系统全自主在线学习。

2、本专利引入模板集消减机制，可避免模板集中，正负样本模板较多可能造成的系统运行速度下降的缺点。

附图说明

图1为本发明方法的流程图；

图2为本发明一实施例中随机蕨分类器结构图；

图3为本发明一实施例在线学习的随机蕨分类器前后检测性能的对比图，其中图3(a)-3(d)是在线学习前的检测结果，图3(i)-3(l)是在线学习后的检测结果；

图4为夜晚光照条件下的分类器自主学习过程图；

图5为行人检测的分类器自主学习过程图；

图6为本发明一实施例与其它经典在线学习过程的ROC曲线比较图。

具体实施方式

下面结合具体实例和附图对本发明做进一步说明。

本发明公开了基于目标检测系统研究的全自主在线学习过程中的最近邻分类器训练方法，该方法只需在视频帧中框选一次目标即可进行针对该目标类的分类器在线学习。步骤为：首先对框选的目标采用仿射变换得到初始的正样本集，在视频的非目标区域提取少量的负样本集训练初始随机蕨分类器；其次，使用该分类器在视频帧中进行目标检测。检测的过程中，采用最近邻分类器收集在线学习新样本，并自动判断样本类别；最后，将新样本用于随机蕨分类器的在线训练，更新随机蕨后验概率，逐渐提高分类器目标检测的精度，实现目标检测系统全自主在线学习。

本发明提供一种基于随机蕨分类器的全自主在线学习方法如图1所示，包括如下步骤：

1)准备初始训练分类器的样本集：

针对待检测的视频帧，在视频图像的第一帧中框选出一个目标，对该目标图片进行仿射变换得到的图片作为正样本；以不含有目标的背景图像区域作为负样本；如此随机的获取一定数量的正样本和负样本作为初始训练分类器的样本集。

所述初始训练分类器的样本集中的样本在本实施例中就是相同大小的图像块，一般尺寸为15×15(像素)，若图像块中含有待检测的目标则该样本为正样本，没有则为负样本。

2)随机蕨分类器初始训练：

使用准备好的初始训练分类器的样本集对随机蕨分类器进行初始训练，统计正负样本在每个随机蕨上的后验概率分布，如图2所示。

具体方法如下：

2.1)构造随机蕨：

对样本集中的单个样本上随机取s对特征点作为一组随机蕨(本实施例选5对)，每个样本取特征点的位置相同，每对特征点进行像素值的比较，每对特征点中前一个特征点像素值大则取特征值为1，反之则取特征值为0，s对特征点比较后得到的s个特征值按照随机的顺序构成一个s位的二进制数，即为该组随机蕨的随机蕨数值，每个样本的随机蕨中特征值的顺序一致；

2.2)计算随机蕨数值在正负样本类上的后验概率：

随机蕨中，有一部分为正样本得到的，其它为负样本得到的；每个样本的随机蕨F_l包含的特征可联合在一起形成一个十进制数，由于该十进制数通过S位二进制码获得，因此随机蕨数值的取值种类有2^s个，即有2^s种可能(本实施例中为2⁵种可能)；

统计每种随机蕨数值的取值的正样本个数，从而获得随机蕨数值在正样本类C₁上的后验概率分布P(F_l|C₁)；同理获得随机蕨数值在负样本类C₀上的后验概率分布P(F_l|C₀)；联合所有随机蕨对初始训练分类器的样本集进行分类，即为随机蕨分类器。

3)将初始训练好的随机蕨分类器作为当前目标检测器遍历待检测的视频帧进行目标检测，得到目标模块，并计算每个目标模块的置信度，具体为：遍历待检测的视频帧，在视频帧中提取相同大小的图像块作为待测样本，待测样本的大小与步骤1)中正样本的大小相等，计算每个待测样本的随机蕨数值，从而得到相应的后验概率，最后由随机蕨分类器计算其类别；

对于类别为正样本的图像块，则作为目标被检测出来，成为目标模块。

4)构建正负样本模板集：

将以下三种样本作为正样本模板添加到正样本模板集M⁺，其余添加到负样本模板集M^-：

A、步骤1)中得到的正样本；

B、对步骤3)中得到的置信度超过置信度预设值(可取0.6)的目标模块，采用光流法对其所在视频帧进行跟踪得到跟踪模块，若跟踪模块与该目标模块有重合区域，且重合率超过预设重合率(预设重合率通常取60％)，则认为该跟踪模块是真实目标，作为正样本模板添加到M⁺中；

C、对步骤3)中得到的置信度超过置信度预设值(可取0.6)的目标模块，采用光流法对其所在视频帧进行跟踪得到跟踪模块，若跟踪模块与该目标模块有重合区域，且重合率未超过预设重合率，则通过保守相似度S^c判断该跟踪模块能否加入正样本模板集：

$>S^c=\frac{S_{50\%}^{+}}{S_{50\%}^{+}+S^{-}}$>

其中：

如果S^c大于预设的保守相似度阈值(可取0.6)，则该跟踪模块作为正样本模板加入M⁺，为待分类样本与当前正样本模板集的前半部分模板的相似度，S⁺、S^-分别为待分类样本与正、负样本模板集的相似度，为两个图像帧的相似度，p⁺，p^-分别为正样本和负样本，p为待分类样本，本步骤中待分类样本为跟踪模块；

每加入一个正样本模板，则取同一视频帧中其周围四个相同大小的图像块判断是否为负样本，若是作为负样本模板加入负样本模板集M^-。在判断时，引入高斯背景建模，若图像块内前景像素小于前景像素阈值(可取小于30％)，则判断它为负样本。

步骤4)还包括模板集消减机制：待分类样本与正负模板集的相似度等于待分类样本与正负模板集中单个正负样本模板之间相似度的最大值；实时统计各个正负样本模板获得该最大值的次数，若某正负样本模板获得的该最大值的次数小于最大值次数预设值，则去除对应的正样本模板或负样本模板。

5)使用最近邻分类器，获得在线学习的正负样本：

最近邻分类器的设置如下：对于每个待分类样本p，分别计算其与正负样本模板集的相似度S⁺(p,M⁺)及S^-(p,M^-)：

$>S^{+}(p,M^{+})={\max }_{p_i^{+}\in M^{+}}S(p,p_i^{+})$>

$>S^{-}(p,M^{-})={\max }_{p_i^{-}\in M^{-}}S(p,p_i^{-})$>

相应的可得相似度S^r：

$>S^r=\frac{S^{+}}{S^{+}+S^{-}}$>

若相似度S^r大于阈值θ_NN，则判断该待分类样本为真实目标，作为在线学习的正样本；否则为虚警，作为在线学习的负样本；

本步骤中待分类样本为步骤3)得到的目标模块和步骤4)得到的正负样本模板集。

(6)随机蕨分类器的在线训练：

使用步骤5)获得的在线学习的正负样本，对随机蕨分类器进行在线学习，逐渐提高其分类精度；将在线学习的随机蕨分类器作为可持续更新的检测系统进行目标检测。

随机蕨分类器的在线学习通过更新后验概率分布实现，具体方法如下：

6.1)将步骤5)获得的正负样本作为在线学习样本；设一个在线学习样本为(f_new，c_k)，其中f_new为随机蕨s位的二进制数(本实施例中f_new为00101，即十进制数5)，c_k为样本类别，计算该在线学习样本的随机蕨数值；

6.2)如图2所示，对步骤2.1)样本集中类别为c_k的样本总数加1，类别为c_k的与该在线学习样本的随机蕨数值相同的样本数加1；其它随机蕨数值的样本数不变(本实施例中，类别为c_k的样本总数M加1，随机蕨F_l的数值为5的样本数N加1，其它数值的样本数N_other不变)；

6.3)根据更新后的样本数，重新计算随机蕨数值在该样本类上的后验概率分布(本实施例中，随机蕨F_l的数值为5的后验概率变为其它数值的后验概率值变为)；

6.4)每新增一个在线学习样本，便重复6.1)至6.3)对后验概率分布进行更新一次。

通过在交通领域进行试验，如图3所示(实际目标检测过程中，我们使用几种不同尺度在视频图像中进行目标检测，不同尺度对应的图像框大小不同，因此可以检测到即框选出不同大小的图像块)，其中图3a-3d是在线学习前的检测结果(即仅通过初始训练的检测结果)，图3e-3h是在线学习后的检测结果，从图中可以发现初始训练分类器对目标检测的效果较低，经过训练之后对目标检测的效果高了很多。

图4为夜晚光照条件下的分类器自主学习过程图，其中图4(a)-4(d)为视频的开始阶段，可见漏检较多，这是由于全自主在线训练正样本较少造成的。随着在线训练样本的增多，检测率增加，虚警也逐步增多，如图4(e)-4(h)所示。当分类器进一步在线学习后，其每个随机蕨的后验概率趋于稳定，检测到的车辆目标也趋于准确，如图4(i)-4(l)所示。

图5为行人检测的分类器自主学习过程图，其中图5(a)-5(d)为全自主在线学习初期的检测情况，图5(e)-5(h)为系统自主学习了200帧后的目标检测情况，从图中可以发现全自主在线学习方法能逐渐提高目标检测性能。

图6为本发明一实施例与其它经典在线学习过程的ROC曲线比较图，从图中可以发现全自主在线学习方法有较好的检测效果。