一种基于编码解码网络的交通场景描述方法及系统

摘要

本公开提供了一种基于编码解码网络的交通场景描述方法及系统，获取交通场景的视频帧图像数据；对获取的视频帧图像数据进行场景分割，得到去除交通背景后的图像数据；将得到的图像数据输入到预设模型中，得到用于交通场景描述的视频字幕；其中，预设模型以编码解码器为框架，训练时：分别将解码后的结果与掩盖了当前和过去时间步长的GroundTruth输入到两个长短期记忆网络中，将输出结果与注意力机制得到的特征进行线性变换，输入到与解码器相同的长短期记忆网络得到引导的描述；本公开在模型训练阶段提出了一个引导模块，以鼓励编码器‑解码器结构在翻译中生成与过去和未来单词相关的单词，提高了视频内容描述的准确度。