一种用于人体重现检测的人体表观模型的学习方法及系统

摘要

本发明公开一种用于人体重现检测的人体表观模型的学习方法和系统，所述方法包括如下步骤：步骤1，在视频帧的检测窗口中提取人体表观特征，建立人体表观描述子；步骤2，基于时空约束信息提取正例和反例人体表观描述子，用于训练人体表观模型。

说明书

技术领域

本发明属于模式识别和计算机视觉领域，特别是一种用于人体重现检测的 人体表观模型的学习系统及方法。

背景技术

所谓人体重现检测，就是给定一个人某一时刻在一个摄像机下的图像帧 (带有该人的人体检测窗口)，寻找所有其他时刻在当前摄像机或其他摄像机下 该人出现过的图像帧/序列。人体重现检测可以通过提取当前观察人体的表观 模型，以模型比对的方式从其它时刻在相同或不同摄像机捕获的图像帧中寻找 能够很好的匹配该表观模型的人来完成。由于人体重现检测系统通常面临着人 体姿态、视角、光照等多种因素变化的影响，以及多人遮挡、饰物佩戴(如帽 子、背包)等众多实际问题，因此如何建立一个鲁棒的人体表观模型，是人体 重现系统中的重要步骤。

其中，特征提取和分类器的设计是表观建模的两个核心问题。传统的人体 特征提取方法主要有，全局颜色直方图、最大颜色稳定区域特征、梯度直方图、 和Bag-of-words等，且均属于底层语义特征表示方法。通常，同一个人体在不 同视角下的表观特征会有所不同，例如当一个人携带背包时，正面和背面会有 较大的差异。而底层特征表示受视角影响很大，不同视角下人体的颜色、梯度 等分布通常差异极大，因此直接通过计算特征之间的相似度来判断几个人体检 测结果是否是同一个人通常都不准确。基于此，提取更加鲁棒高层语义特征， 如背包、帽子、人体性别等属性特称成为特征提取的一个重要的解决方案。

在分类器设计方面，出于系统实际应用需要，需要动态的记录和更新场景 中活动的人体，分类器的学习应该是一个在线学习的过程。传统的方法通常找 一些背景部分作为反例样本，这使得学习到的表观模型在区分不同人体方面，能 力较弱。根据人体表观模型的差异，设计有效的策略来在线选择正例和反例训 练样本，是提高在线学习分类器在每一个时刻分类准确度的关键因素。由于视 频数据具有显著的时空特性，于是，本发明通过挖掘时空限制建立更有效的正 反例数据提取方法来提高分类器的效率。

发明内容

为解决上述问题，本发明提供了一种用于人体重现检测的人体表观模型的 学习方法及系统，由于，通常同一个人体在不同视角下的表观特征会有所不同， 例如当一个人携带背包时，正面和背面会有较大的差异。而底层特征表示受视 角影响很大，不同视角下人体的颜色、梯度等分布通常差异极大，因此直接通 过计算特征之间的相似度来判断几个人体检测结果是否是同一个人通常都不 准确。基于此，提取在视角和光照等环境因素变化下具有不变性的，并具有语 义含义的特征，如背包、帽子、人体性别等属性特称成为特征提取的一个重要 的解决方案。

传统的人体重现方法通常找一些背景部分作为反例样本，这使得学习到的 表观模型在区分不同人体方面，能力较弱。根据人体表观模型的差异，设计有 效的策略来在线选择正例和反例训练样本，是提高在线学习分类器在每一个时 刻分类准确度的关键因素。由于视频数据具有显著的时空特性，于是，本发明 通过挖掘时空限制建立更有效的正反例数据提取方法来提高分类器的效率。所 述分类器是一个统计模型，输入为提取的人体表示数据(及特征)，输出是其 对应的类别标签。

本发明公开一种用于人体重现检测的人体表观模型的学习方法，包括如下 步骤：

步骤1，在视频帧的检测窗口中提取人体表观特征，建立人体表观描述子；

步骤2，基于时空约束信息提取正例和反例人体表观描述子，用于训练人 体表观模型。

所述的用于人体重现检测的人体表观模型的学习方法，步骤2中还包括：

以同时在线的人体的人体表观模型的更新和/或以在线和离线人体的人体 表观模型的更新。

所述的用于人体重现检测的人体表观模型的学习方法，所述步骤2时空约 束信息还包括：

步骤31，以所述检测窗口内的人体表观特征作为正例；

步骤32，从所述检测窗口之外位置的窗口中提取人体表观特征作为反例， 训练人体表观模型。

所述的用于人体重现检测的人体表观模型的学习方法，所述同时在线的人 体表观模型的更新，还包括：

步骤41，同时出现在视频帧中的人体表观特征，互为其对应的人体表观 模型的反例训练数据；

所述的在线和离线的人体表观模型的更新，还包括：

步骤42，当前活跃人体表观模型对应的人体表观特征作为用于更新非活 跃人体表观模型的反例训练数据。

所述的用于人体重现检测的人体表观模型的学习方法，所述步骤1还包 括：

步骤51，增加人体属性信息作为人体表观特征的一部分；

步骤52，将通过视频帧识别的人体属性信息与人体的形状、颜色特征连 接生成完整的人体表观特征。

所述的用于人体重现检测的人体表观模型的学习方法，所述步骤1还包 括：

步骤61，对于人体属性信息的提取采用自举学习分类器算法，使用梯度 直方图和颜色直方图作为人体属性特征；

步骤62，对于某个属性，当人体属性特征被自举分类器分为正例时，该人 体属性维度值置为‘1’，否则，置为‘0’。

本发明公开一种用于人体重现检测的人体表观模型的学习系统，包括：

特征提取模块，用于在视频帧的检测窗口中提取人体表观特征，建立人体 表观描述子；

模型学习模块，用于基于时空约束信息提取正例和反例人体表观描述子， 用于训练人体表观模型。

所述的用于人体重现检测的人体表观模型的学习系统，模型学习模块中还 包括：

以同时在线的人体的人体表观模型的更新和/或以在线和离线人体的人体 表观模型的更新。

所述的用于人体重现检测的人体表观模型的学习系统，所述模型学习模块 还包括：

正例模块，用于以所述提取的人体表观特征作为正例；

反例模块，用于从所述检测窗口之外位置的窗口中提取人体表观特征作为 反例，训练人体表观模型。

所述的用于人体重现检测的人体表观模型的学习系统，所述同时在线的人 体表观模型的更新，还包括：

同时出现在视频帧中的人体表观特征，互为其对应的人体表观模型的反例 训练数据；

所述的在线与离线的人体表观模型的更新，还包括：

当前活跃人体表观模型对应的人体表观特征作为用于更新非活跃人体表 观模型的反例训练数据。

所述的用于人体重现检测的人体表观模型的学习系统，所述模型学习模块 还包括：

增加信息模块，用于增加人体属性信息作为人体表观特征的一部分；

生成特征模块，用于将通过视频帧识别的人体属性信息与人体的形状、颜 色特征连接生成完整的人体表观特征。

所述的用于人体重现检测的人体表观模型的学习系统，所述模型学习模块 还包括：

信息提取模块，用于对于人体属性信息的提取采用自举学习分类器算法， 使用梯度直方图和颜色直方图作为人体属性特征；

属性计算模块，用于当被匹配人体表观特征和匹配人体表观特征的该人体 属性标签一致时，该人体属性维度值置为‘1’，否则，置为‘0’。

技术效果：使用人体属性作为表观特征，使得表观特征具有关照、视角等 环境因素影响不变的性质，在实际应用中，鲁棒性很强。

技术效果：增加表观模型学习时的训练样本数量，同时，由于重现检测的 错误主要来源是人的误检，利用一些约束来增加人体训练样本的数量，极大的 提高了重现检测的正确率。

针对人体重现检测中面临的视角变化等多种实际问题，本发明提出了人体 重现系统下的人体表观模型的更新策略。主要包括两方面内容：基于属性特征 的人体表观模型和时空限制下的正反例提取方法。其中，属性特征属于高层语 义特征，与底层特征相比，更加鲁棒，因此大大提高了复杂场景变化下识别的 精确度。本发明还进一步的提出了利用视频的时空限制，增强在线学习分类器 样本选择的可区分性和灵活性，广泛的适用于各种在线的视频分析任务。因为 同时考虑了表观模型在特征提取和分类器学习中的不同作用，使用人体表观模 型更新策略对人体重现系统特别有效。

附图说明

图1A为本发明用于人体重现检测的人体表观模型学习的具体实施方式同 一帧视频内的活跃分类器的互斥性示意图；

图1B为本发明用于人体重现检测的人体表观模型学习的具体实施方式活 跃分类器的正例作为正例继续更新不活跃分类器；

图2为本发明用于人体重现检测的人体表观模型的学习方法流程图；

图3为本发明用于人体重现检测的人体表观模型的学习系统流程图。

具体实施方式

下面给出本发明的具体实施方式，结合附图对本发明做出了详细描述。

如图2所示，一种用于人体重现检测的人体表观模型的学习方法，包括如 下步骤：

步骤1，在视频帧的检测窗口中提取人体表观特征，建立人体表观描述子； 描述子就是表示特征向量的意思，通常是以实数向量的形式表示，

步骤2，基于时空约束信息提取正例和反例人体表观描述子，用于训练人 体表观模型。

所述的用于人体重现检测的人体表观模型的学习方法，步骤2中还包括：

以同时在线的人体的人体表观模型的更新和/或以在线和离线人体的人体 表观模型的更新。

所述的用于人体重现检测的人体表观模型的学习方法，所述步骤2时空约 束信息还包括：

步骤31，以所述检测窗口内的人体表观特征作为正例；

步骤32，从所述检测窗口之外位置的窗口中提取人体表观特征作为反例， 训练人体表观模型。

所述的用于人体重现检测的人体表观模型的学习方法，所述同时在线的人 体表观模型的更新，还包括：

步骤41，同时出现在视频帧中的人体表观特征，互为其对应的人体表观 模型的反例训练数据；

所述的在线和离线的人体表观模型的更新，还包括：

步骤42，当前活跃人体表观模型对应的人体表观特征作为用于更新非活 跃人体表观模型的反例训练数据。

所述的用于人体重现检测的人体表观模型的学习方法，所述步骤1还包 括：

步骤51，增加人体属性信息作为人体表观特征的一部分；

步骤52，将通过视频帧识别的人体属性信息与人体的形状、颜色特征连 接生成完整的人体表观特征。

所述的用于人体重现检测的人体表观模型的学习方法，所述步骤1还包 括：

步骤61，对于人体属性信息的提取采用自举学习分类器算法，使用梯度 直方图和颜色直方图作为人体属性特征；

步骤62，对于某个属性，当人体属性特征被自举分类器分为正例时，该人 体属性维度值置为‘1’，否则，置为‘0’。

本发明提出用如下步骤来建立用于人体重现检测系统的人体表观模型：首 先，从给定的人体检测结果(以图像帧中的检测窗口的方式呈现)中提取人体 表观特征；然后，以该特征作为正例，从该检测窗口之外的位置上的窗口(大 小与给定的窗口相同或不同)中提取表观特征作为反例训练人体表观分类模 型。这个分类模型就是该给定人体检测结果对应的表观模型。

依据上面的流程，本发明关注于人体表观模型的设计和学习方法，具体来 说，其包含以下两个方面的内容：(1)增加人体属性信息(比如性别、年龄段、 饰物等)作为人体特征表示。不同于传统的基于形状和颜色的人体特征描述， 人体的属性具有较好的视角、光照等场景因素变化的鲁棒性。将每种属性进行 量化，比如，性别包括‘男’和‘女’，我们可以把这两种性别的类别标签定 义为‘0’和‘1’；通过学习几种属性的统计模型来识别检测到的人体的属性 信息。将这些识别到的属性信息和人体的形状、颜色特征连接在一起构成人体 的表观特征。

人体属性的学习属于离线学习部分，本发明采用了性别、年龄段、是否带 有帽子等20个属性。所述的属性是可以扩展的，还可以根据实际情况增加很 多需求，比如是否有同伴等等。对于人体属性信息的提取，我们采用自举学习 (Boosting)分类器算法，使用梯度直方图作为人体特征。直方图是用于统计 图像或者图像特定区域中某种变量值的出现频率的，比如颜色直方图的计算方 法，就是将图像中的颜色量化成若干个量化区间(比如256个)，然后统计每 个量化区间中颜色的出现次数；由此类推，所谓梯度直方图，就是求图像的每 个象素的梯度值(就是相邻像素和该像素的差值)，然后将梯度值量化，并统 计每个量化的梯度值的出现频率。对于每个属性，训练一个自举学习分类器， 训练数据来源于使用人工标注属性的人体检测框。当某个属性可取的值高于二 类时，其中二类为类别的数量，比如像属性性别，因为性别只有男女两类，我 们称其为二类，比如年龄段，本发明按照10～20，30～50，50～70划分成‘青’， ‘中’，‘老’三个年龄段，并使用多类自举学习分类器来进行类别学习。

人体的表观特征表示方面除了采用人体检测框的梯度直方图和颜色直方 图(HSV空间)之外，增加了属性维度，所述HSV是一种颜色空间，就是正 常情况下，图像像素的颜色值是通过其RGB值来表示的，HSV是对RGB进 行一种线性变换而得到的颜色表示。

对于每个属性维度，当被匹配人和匹配人的该属性标签一致时，该维度值 置为‘1’，否则，置为‘0’。

最后，将梯度直方图、颜色直方图和属性维度串联起来就构成了人体表观 特征矢量。

(2)使用时空约束信息来在线筛选用于学习人体表观模型的正例和反例 数据。本发明使用以下两种时空约束信息：

a)在一视频帧中同时出现的人体间是互斥的；所述“互斥”是代表同一 个人不可能在同一视频帧中的两个不同位置出现。

b)在当前视频帧中新出现的不能被已有人体表观模型分类为重现的人与 已有的建立了人体表观模型的人互斥。对于已有的某个人的人体表观模型，当 在某个视频帧中检测到一个人，且这个人不能被此人体表观模型分类为正例 时，这个检测到的人体的表观特征就可以作为这个表观模型的反例来更新表观 模型。

利用第一种时空约束，针对一个人的分类器的反例来自于所有其他人的正 例，利用第二种时空约束，当前视频中人的正例可以是已有人体表观模型的反 例，而这些已有人体表观模型对应的正例可以作为建立当前视频中人体表观模 型的反例。

具体来说，对于在线的人体表观模型学习，对于每个检测到的人对应的表 观模型，本发明根据时空限制在线的筛选学习这个模型使用的正例和反例。如 图1所示，按照当前观察帧中是否包含有表观模型对应的人体，把表观模型划 分为两类：当表观模型对应的人经过系统的人体检测和模型匹配之后，认定是 在当前观察帧中出现时，我们称其为“活跃的分类器”，否则，称其为“非活 跃的分类器”。

第一种时空约束考虑的是当前视频中，人与人之间的互斥性。如附图1A 所示，每一帧中每个人的活跃分类器T_i对应的跟踪框序列的表观特征集合作 为该人的正例，而其他人的跟踪框表观观特征集合作为该活跃分类器T_i的反 例。

第二种时空约束考虑的是活跃分类器对应的人与非活跃分类器对应的人 之间的互斥性。如图1B所示，活跃分类器集合中的分类器仍然可以利用第一 种时空约束进行更新。然而分类器T₀对应的人已经从视频中消失，处于非活 跃状态。此时T₁，T₂以及T₃对应的人都在视频中出现，为了能保证T₀具备对 其他人的分类能力，我们需要对T₀进行更新，我们用T₀来匹配T₁，T₂和T₃对应的人的当前表观特征，若T₀将其误判为正例，则这个样本就被拿来作为 T₀的反例来更新T₀。

如图3所示，一种用于人体重现检测的人体表观模型的学习系统，包括：

特征提取模块10，用于在视频帧的检测窗口中提取人体表观特征，建立 人体表观描述子；

模型学习模块20，用于基于时空约束信息提取正例和反例人体表观描述 子，用于训练人体表观模型。

所述的用于人体重现检测的人体表观模型的学习系统，模型学习模块中还 包括：

以同时在线的人体的人体表观模型的更新和/或以在线和离线人体的人体 表观模型的更新。

所述的用于人体重现检测的人体表观模型的学习系统，所述模型学习模块 还包括：

正例模块，用于以所述提取的人体表观特征作为正例；

反例模块，用于从所述检测窗口之外位置的窗口中提取人体表观特征作为 反例，训练人体表观模型。

所述的用于人体重现检测的人体表观模型的学习系统，所述同时在线的人 体表观模型的更新，还包括：

同时出现在视频帧中的人体表观特征，互为其对应的人体表观模型的反例 训练数据；

所述的在线与离线的人体表观模型的更新，还包括：

当前活跃人体表观模型对应的人体表观特征作为用于更新非活跃人体表 观模型的反例训练数据。

所述的用于人体重现检测的人体表观模型的学习系统，所述模型学习模块 还包括：

增加信息模块，用于增加人体属性信息作为人体表观特征的一部分；

生成特征模块，用于将通过视频帧识别的人体属性信息与人体的形状、颜 色特征连接生成完整的人体表观特征。

所述的用于人体重现检测的人体表观模型的学习系统，所述模型学习模块 还包括：

信息提取模块，用于对于人体属性信息的提取采用自举学习分类器算法， 使用梯度直方图和颜色直方图作为人体属性特征；

属性计算模块，用于当被匹配人体表观特征和匹配人体表观特征的该人体 属性标签一致时，该人体属性维度值置为‘1’，否则，置为‘0’。

本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条 件下，还可以对以上内容进行各种各样的修改。因此本发明的范围并不仅限于 以上的说明，而是由权利要求书的范围来确定的。