基于双模深度网络的视频事件检测与语义标注方法及装置

摘要

本发明公开一种基于双模深度网络的视频事件检测与语义标注方法及装置，包括：对输入的体育视频进行解码，分别得到音频数据流和图像数据流；对于音频数据流，首先进行音频分帧处理，然后利用深度神经网络模型提取音频特征；对于图像数据流，进行镜头边界检测，根据镜头类型分析事件转换模式，确定感兴趣视频事件边界，利用深度神经网络提取感兴趣事件片段视觉特征；将音频特征和视觉特征进行融合分类，获取感兴趣事件检测和语义标注结果。本发明方法利用音视频双模特征和深度神经网络模型有效确定体育视频中的精彩事件边界，并对其进行分类识别实现事件语义标注，为基于内容的体育视频摘要和检索打下坚实基础。