复杂场景下的基于双流网络的视频目标分割算法研究

摘要

随着信息技术的迅猛发展，信息的载体也在不断升级，各种新兴的领域飞速发展，像自动驾驶，人工智能等等。视觉是机器理解世界的主要手段，在人机交互，医疗以及交通等领域扮演着越来越重要的角色。视频作为机器视觉中信息的主要载体，蕴含了丰富的信息，视频目标分割的任务是在大量的冗余信息中提取出对当前任务有帮助的信息，让机器具有理解分辨能力，是近年来研究的热点。
　　现有的无监督视频目标分割算法，在实际复杂多样的场景下往往表现不佳，容易受到遮挡，光照变化，画面模糊，画面剧烈变化等影响，出现目标无法识别或者目标分割轮廓不完整等问题，大大减弱了自动视频目标分割算法在实际场景下的鲁棒性和精确度。本文为了解决上述问题，提出了一种基于多帧特征融合的时空双流无监督视频目标分割算法，具体工作和文章的创新点如下:
　　1、针对相似目标干扰，光照变化等场景，基于现有的FCN网络，设计了一种基于时间空间双流全卷积网络用于视频目标分割任务，加入了多尺度统合，带孔卷积等思想，根据时空网络的实际分割结果，创新性的提出了基于外观模型的融合策略，采用CRF将结果精细化。该网络综合利用了基于空间的外观模型以及基于时域的运动模型，融入了视频帧的连续性特征，经试验结果表明可以很好地应对一般场景下的视频目标分割任务，表现出良好的鲁棒性和精确度。
　　2、针对连续遮挡，模糊等更为复杂的场景，创新性的提出了多帧特征融合的思想，提出了一种光流的双向传递误差的概念，并给出量化手段，并以此为权重计算方式，分别将多帧信息的聚合融入到空间流网络和时间流网络中去。提出双流网络的优化方案，引入分割成功率评价标准。优化网络在原有网络基础上改善了复杂场景下分割的鲁棒性和精准度。在与同类算法的比较中，在复杂场景下具有良好的抗干扰能力，在复杂场景下表现出了比同类算法更好的精准度和鲁棒性，大大提高了视频目标分割的成功率，增加了视频目标分割算法的可实用性。

目录

声明

摘要

第一章 绪论

1．1 研究背景与意义

1．2 国内外研究现状

1．2．1 基于图像处理的视频目标分割

1．2．2 基于深度学习的视频目标分割

1．3 本文研究内容

1．4 论文的结构安排

1．1 引言

1．2 光流计算

1．2．1 经典光流求解

1．2．2 基于神经网络的光流计算

1．2．3 光流传递误差

1．3 全卷积网络

1．3．1 从图像分类到图像分割

1．3．2 全卷积网络

1．4 本章小结

第三章 基于双流全卷积网络的自动目标分割算法

3．1 引言

3．2 双流全卷积网络的结构设计

3．2．1 双流全卷积网络结构

3．2．2 网络结构解析

3．2．3 双流网络的分割结果

3．3 模型融合

3．4 概率图模型

3．4．1 条件随机场

3．4．2 马尔科夫随机场

3．5 结果分析

3．6 本章小结

4．1 引言

4．2 时间流网络的特征融合优化

4．2．1 时间流网络的输入

4．2．2 分割结果融合

4．3 空间流网络的特征融合优化

4．3．1 空间流网络的输入

4．3．2 特征聚合过程

4．4 时空双流全卷积网络优化方案

4．6 本章小节

5．1 实验设置

5．1．1 软硬件环境配置

5．1．2 深度学习框架

5．1．3 实验数据集选取

5．2 评价标准

5．2．1 精确度评价标准(IOU)

5．2．2 鲁棒性评价标准

5．2．3 轮廓精确度(F-Measure)

5．3 同类算法还原

5．4 实验结果分析

5．4．1 融合网络与优化融合网络的结果对比

5．4．2 优化融合网络与同类算法的结果对比

5．5 本章小节

6．1 全文工作总结

6．2 未来工作展望

参考文献

在读期间发表的学术论文与取得的研究成果

致谢