一种基于注意力和子任务预训练的视频分析算法

摘要

本发明公开了一种基于注意力和子任务预训练的视频分析算法，该视频分析包括以下步骤：步骤1：定义与分析目标相关的一系列静态帧分类子任务，训练子任务得到图像嵌入特征向量和语音嵌入特征向量；步骤2：通过特征工程提取其他图像特征；通过特征工程提取其他声学特征；通过语音识别，得到文本，对文本做情感分析，得到对应的一系列特征；步骤3：对每一帧，拼接图像特征，语音特征，文本特征，形成帧特征；步骤4：对特征序列使用注意力模型进行序列分类。本发明通过借鉴特征工程的思想，定义相关静态帧子任务，将视频分解成帧特征序列，将视频分析转换成特征序列分类问题，这种方式可以分析较长的视频，无需裁剪。