基于图像融合的行为识别方法、装置、电子设备及介质

摘要

本发明涉及人工智能技术领域，提供一种基于图像融合的行为识别方法、装置、电子设备及介质，通过将初始图像与计算得到的光流图像进行融合，实现了图像信息与时间信息的融合，且通过光流信息指导3D卷积神经网络对于初始图像的信息的理解，通过注意力机制让3D卷积神经网络学习更多的感兴趣信息，从而基于融合后的融合图像进行行为识别，有效的保证了行为识别的准确度；训练的3D卷积神经网络为单分支网络结构，相比双分支的3D卷积神经网络而言，在保证行为识别准确率的前提下，单分支网络结构降低了网络模型的复杂度，从而降低了整个行为识别过程的复杂度，让整个过程更加集中化，提高了行为识别的效率。