复杂背景下双人交互行为识别方法

摘要

本发明公开了复杂背景下双人交互行为识别方法，包括如下步骤：构建两层卷积叠加ISA网络，所述ISA网络用于对视频进行提取基于视频自动学习的时空特征；具体包含有局部时空样本提取、图层ISA1特征提取、图层ISA2特征提取三个步骤；训练步骤，即采用训练集的全部双人交互行为视频，通过所述两层卷积叠加ISA网络提取训练集视频的时空特征，并用所述时空特征通过SPN结构学习算法得到SPN模型结构；识别步骤，即采用测试集的双人交互行为视频，通过所述两层卷积叠加ISA网络提取测试集视频的时空特征，并用所述的SPN模型获取对该动作的识别结果。本发明运用ISA提取的时空特征和SPN结构，提供了一个能适用于不同程度复杂的双人行为视频的普适性的方法。