基于反事实分析的第一视角视频行为预测模型训练方法

摘要

本发明提供一种基于反事实分析的第一视角视频行为预测模型训练方法，采用第一视角视频训练集对预测模型进行多轮迭代训练直至收敛，其中，每轮训练包括：分别提取每个样本的视觉特征和语义特征；分别对视觉特征和语义特征进行编解码处理得到视觉特征对应的下一时刻的高维特征向量和语义特征对应的下一时刻的高维特征向量；基于高维特征向量分别获得下一时刻的反事实预测向量和事实预测向量；从每个样本对应的事实预测向量中按照相似度抠除反事实预测向量得到下一时刻的最终行为预测向量；每个样本的下一时刻的行为对应的最终预测向量与对应下一时刻的行为标签对应的向量之间的交叉熵损失更新预测模型的参数。