基于级联卷积网络和光流的视频显著性目标检测方法

摘要

本发明涉及一种基于级联卷积网络和光流的视频显著性目标检测方法，利用级联网络结构，在高、中、低三个尺度上分别对当前帧的图像进行像素级的显著性预测。使用MSAR10K图像数据集训练级联网络结构，显著性标注图作为训练的监督信息，损失函数为交叉熵损失函数。训练终止后，利用训练好的级联网络对视频中的每一帧图像进行静态显著性预测。利用经典的Locus‑Kanada算法进行光流场提取。然后使用三层卷积网络结构构建动态优化网络结构。将每一帧图像的静态检测结果和光流场检测结果进行拼接得到优化网络的输入数据。使用Davis视频数据集优化网络，利用静态检测结果和光流信息对视频帧进行像素点级的显著性分类。