用于智能人机交互的行为早期识别方法、系统及存储介质

摘要

本发明公开了一种用于智能人机交互的行为早期识别方法、系统及存储介质，方法包括：将视频流转化为图像帧；将图片帧转输入卷积神经网络提取特征，得到动作特征序列；将动作特征序列F输入到行为预测模型进行计算：首先利用多头注意力机制输出与动作特征序列F维度相同的向量，将该向量输入前馈神经网络中计算，将上述过程标记为EL Layer，经过L层的堆叠就形成了Transformer Encoder的编码过程；接着将编码结果输入到分类器中计算得到代表分类结果的概率向量；最后取最晚观测时刻对应的输出向量中概率最大的分类作为预测结果。本发明的方法利用时间维度上距离较远的信息之间的交互信息增强模型的表现力；同时，使用行为早期识别技术提前预测出动作分类可以提高交互系统的用户体验。