基于多尺度混合注意力机制的视频摘要算法

摘要

针对现有的视频摘要任务中视频帧的多层次上下文依赖信息提取不足的问题,提出一种基于多尺度混合注意力机制的视频摘要(MHAVS)算法。MHAVS采用编码器-解码器架构,编码器部分采用金字塔空洞卷积模块提取视频帧的不同尺度特征信息,解码器部分嵌入混合注意力机制建模视频帧的通道维度和空间维度的深度相互依赖性,增强特征的表达,利用指针网络帮助模型生成优势的视频摘要。提出算法在两个公共数据集SumMe和TvSum上进行多次实验,综合结果表明,MHAVS算法取得了不错的结果。