一种基于深度学习的视频弹幕评论自动生成方法及系统

摘要

本发明公开了一种基于深度学习的视频弹幕评论自动生成方法及系统，属于计算机视觉领域，包括：收集视频数据和对应的弹幕数据，以一条弹幕的文字特征作为标签，以该弹幕的上下文特征和周边的图像特征、音频特征作为属性，形成一个样本，将所有样本划分为训练集、验证集和测试集；基于自编码器和自解码器建立弹幕评论自动生成模型，用于对弹幕各属性进行时间序列分析并实现多模态特征融合后，生成弹幕评论；利用训练集、验证集和测试集对模型进行训练、验证和测试；以当前视频中目标时间点周边的弹幕、图像以及音频的特征为输入，利用已训练好的弹幕评论自动生成模型生成在目标时间点出现的弹幕评论。本发明能够提高自动生成的视频弹幕评论的质量。