基于注意力机制的多动症行为表达和识别方法

摘要

本发明公开了一种基于注意力机制的多动症行为表达和识别方法，属于计算机视觉、视频分析领域。对比现有技术，本发明提出一种注意力模块，以在空间和时间上分别提取关键信息，使得行为识别具有更强的鲁棒性、更优的识别效果。本发明提出的识别方法由注意力模块和识别网络模块构成。(1)注意力模块由空间注意力模块和时间注意力模块组成，分别在空间和时间维度上提取关键行为信息。其中空间注意力模块基于YOLOv5x神经网络来实现对视频帧中人物区域的分割；时间注意力模块由基于帧间差分的方法来筛选关键帧，即视频流中像素点灰度值发生较大变化的帧。(2)将注意力模块提取的视频子序列作为C3D网络的输入来提取多动症行为特征并进行分类识别。