基于自顶向下框架的在线多人姿态估计与跟踪方法

摘要

本发明公开了一种基于自顶向下框架的在线多人姿态估计与跟踪方法，实现视频中实时人体姿态估计与在线多人姿态跟踪。首先通过单阶段目标检测网络提取人体提议框，并结合特征金字塔结构加入深度可分离卷积，改善模型提取小目标人体提议框的精度与模型实时性；然后，将人体提议框送入姿态估计网络进行关节点检测，按照人体关节点检测的不同难易程度，结合上下文语义信息与在线难例挖掘算法完成困难关节点检测；最后，将人体姿态信息送入姿态跟踪网络中，基于ORB角点检测与匹配算法计算帧间姿态距离，构建并优化姿态流，完成实时多人姿态跟踪。经试验验证，该方法能够实时、准确地完成多人姿态估计与姿态跟踪，多目标跟踪准确度(MOTA)指标为59.1％，姿态跟踪帧率达到28帧/秒。