基于3D卷积和多级语义信息融合的行为识别方法及系统

摘要

本发明公开了一种基于3D卷积和多级语义信息融合的行为识别方法及系统，通过3D卷积网络提取视频帧序列的时空特征；为了防止在3D卷积过程中丢失某些对识别出行为类别极为关键的时间语义信息，使用多级语义信息融合模块来聚集3D卷积网络中各个中间层特征所包含的时间语义信息；将提取出的时间语义信息和3D卷积网络所提取的特征进行融合并分类，得到行为类别。本发明利用LSTM网络设计了多级语义信息融合模块，该模块从3D卷积网络所产生的中间特征中提取时间语义信息，并将其和3D卷积网络提取的最终特征进行融合，使网络的分类器接收更多的信息，提升最终的识别准确率。