基于双通道交叉注意力机制的打架识别方法和装置

摘要

本发明公开了基于双通道交叉注意力机制的打架识别方法和装置，该方法首先采集生成视频数据集，设置快慢两种帧率获取不同帧图像序列，进行预处理后分别送入快慢通道，在快慢通道采用基于分开时空自注意力机制的Transformer编码器提取图像序列时空编码特征；然后，经过交叉注意力模块融合一个通道CLS token与另一通道patch token信息，实现双通道时空编码特征融合；最后，将融合后的时空编码特征经过多层感知机头进行打架行为识别。本发明通过双通道Transformer模型与交叉注意力模块能有效提取视频时空特征，提高打架行为识别的准确率，适用于室内外监控系统。