基于人体行为3D模型的2D行为识别

摘要

针对行为识别中行为者朝向变化带来的问题,提出了一种基于人体行为3D模型的2D行为识别算法.在学习行为分类器时,以3D占据网格表示行为样本,提取人体3D关节点作为描述行为的特征,为每一类行为训练一个基于范例的隐马尔可夫模型(Exemplar-based hidden Markov model,EHMM),同时从3D行为样本中选取若干帧作为3D关键姿势集,这个集合是连接2D观测样本和人体3D关节点特征的桥梁.在识别2D行为时,2D观测样本序列可以由一个或多个非标定的摄像机采集.首先在3D关键姿势集中为每一帧2D观测样本寻找与之最匹配的3D关键姿势帧,之后由行为分类器对2D观测样本序列对应的3D关键姿势序列进行识别.该算法在训练行为分类器时要进行行为者的3D重构和人体3D关节点的提取,而在识别2D行为时不再需要进行3D重构.通过在3个数据库上的实验,证明该算法可以有效识别行为者在任意朝向下的行为,并可以适应不同的行为采集环境.