基于多自注意力机制深度学习的医疗行为识别方法

摘要

本发明涉及一种基于多自注意力机制深度学习的医疗行为识别方法，包括：对视频逐帧采样，并分解为若干个视频单元，并在时间维度上堆叠为一定大小的时间序列。将序列中的单帧图像抽取出来作为卷积神经网络的输入，得到视频单元的特征，再堆叠为序列的特征；然后将序列的特征输入循环神经网络捕捉序列时间维度上的特征；再将时间特征输入到多头注意力模型，提取非局部的时间特征，并将整个序列的信息充分的融合；最终经过全连接层得到人体动作类别预测。