基于跨域关系学习的视频分割算法研究

摘要

视频自动分割算法在整个视频中切分目标对象,由于深度卷积神经网络(DCNN)的快速发展,视频分割算法近期取得了良好的进展。但如何同时捕获多个域(时域、空域、通道域)的域内及域间关系,仍然是视频分割算法的重要问题。通过对已有研究成果进行分析,提出一种新的跨域关系学习方法。依据自注意力机制,通过同时利用时域、空域和通道域上下文知识来增强特征表示的判别能力。该原理经过数学的理论论证和实验仿真分析,分别在Shining3D牙科、DAVIS16和DAVIS17的数据集上验证了该方法的有效性。实验结果表明:注意力是视频分割的有效机制,并且可以在空域、时域和频道域中同时使用。与其他最新的视频分割方法相比,该方法在分割性能上具有显著竞争力。