基于光流蒸馏的压缩视频人体行为识别算法

摘要

本发明提供一种基于光流蒸馏的压缩视频人体行为识别算法，本发明使用光流通过知识蒸馏的方式对网络训练进行监督，将双流网络中的时间流网络作为教师模型，将教师模型中的使用光流提取的运动信息蒸馏到空间流的学生模型中，学生模型为以RGB图像帧作为输入（即MPEG‑4视频压缩编码格式提取出视频中的I帧、运动向量和残差，将堆叠生成的P帧和原始视频提取的I帧作为网络模型的特征输入），这样的方式可以仅在训练的时候提取光流特征，而在推理和测试的过程中只需以视频帧作为输入，减少了光流提取时间，在保证效率的同时提高算法的性能。