一种深度视频行为识别方法及系统

摘要

本发明公开了一种深度视频行为识别方法及系统，包括：把深度视频的动态图像序列表示作为CNNs的输入，在CNNs卷积层后嵌入通道与时空兴趣点注意力模型，对卷积特征图进行优化调整。最后，将全局平均池化应用于输入深度视频的被调整后的卷积特征图中，生成行为视频的特征表示，并将其输入到LSTM网络中，捕获人体行为的时间信息并进行分类。在三个具有挑战性的公共人体行为数据集上进行评估，实验结果表明，本发明方法能够提取具有辨识力的时空信息，显著地提升视频人体行为识别的性能。与其他现有方法相比，该方法有效地提高了行为识别率。