基于协同分割的弱监督语义分割方法研究

摘要

图像语义分割是计算机视觉领域的基础研究方向，是视觉理解、行为识别等高层语义分析任务的基础。由于前景的变化和复杂背景的干扰，图像语义分割是一个困难的工作。传统的基于人工设计特征和统计机器学习的方法，无法有效提取语义对象区域。近期，深度学习为图像语义分割提供了一种新的途径。基于深度学习的图像语义分割方法，在大量高精度分割标签的情况下，能够有效地实现图像的语义分割。然而，由于人工标注分割标签十分耗时耗力，实际中常常缺乏充足的训练数据，因此研究者转向弱监督语义分割，通过提取图像级标签中的对象先验实现语义分割。由于标注简单、图像数据易获取，弱监督语义分割具有成本低、训练数据丰富的优点。因此，针对弱监督语义分割的研究对于突破当前语义分割方法过于依赖训练数据的瓶颈具有积极的意义。 然而，图像级标签提供的是粗糙的图像级信息，与精确的语义分割信息之间存在着巨大的鸿沟。因此基于图像级标签的语义分割是一个困难的任务，具体存在以下难点：(1)由于图像级标签所提供的对象先验较粗糙，模型无法准确地学习对象先验；(2)由于前景的多样性和背景的复杂性，基于粗糙的对象先验进行完整的对象区域分割是弱监督语义分割的共性难题；(3)由于单类标签先验不足，如何联合多类标签实现弱监督语义分割是一个困难的任务。针对以上问题本文开展了一系列的研究，具体内容如下： 1.针对图像级标签中对象先验较粗糙难以准确学习对象先验的问题，本文基于单组图像协同分割，提出了基于对象性评估和主动学习的弱监督语义分割方法，通过构建基于有向图最短路径搜索的协同分割模型，实现了图像级标签到像素级伪标签的转换，在少量人工交互情况下有效地完成了对象先验提取和分割训练数据生成。 2.针对弱监督分割中基于前景先验的对象分割底层共性问题，本文提出了一种基于前景概率谱的分割模型，设计了基于迭代分割的优化策略，有效实现了基于粗糙的对象先验分割完整的对象区域，提高了前景分割结果的准确性。 3.针对单组图像协同分割先验信息不足的问题，本文基于前景分割网络，提出了多标签协同的弱监督语义分割框架，基于前景区域和可判别概率谱的融合方法，通过优化多组图像协同分割的能量函数，有效提高了弱监督语义分割性能。

目录

声明

第一章绪 论

1.1课题的研究背景与意义

1.2课题的研究现状

1.2.1弱监督语义分割方法的研究现状

1.2.2协同分割方法的研究现状

1.3论文的主要研究内容

1.4本文章节安排

第二章基于单组图像协同分割的弱监督语义分割方法

2.1引言

2.2本章算法框架

2.3协同分割模型的构建

2.3.1基于有向图最短路径搜索的协同分割方法

2.3.2基于卷积神经网络的对象性评估模型

2.3.3基于卷积神经网络的匹配相似性评估模型

2.4主动学习过程

2.5弱监督语义分割实现

2.6实验结果及分析

2.6.1本章算法实现细节

2.6.2弱监督语义分割结果

2.6.3对比实验结果

2.6.4协同分割实验结果

2.7本章小结

第三章基于前景概率谱的CNN前景分割方法

3.1引言

3.2.1网络结构

3.2.2迭代分割策略

3.3.1训练数据集

3.3.2前景概率谱生成

3.4实验结果及分析

3.4.1主观实验结果分析

3.4.2客观实验结果分析

3.5本章小结

第四章基于多组图像协同分割的弱监督语义分割方法

4.1引言

4.2本章算法框架

4.3基于可判别先验信息的多组协同分割算法框架

4.3.1能量方程构建

4.3.2能量最小化

4.4协同分割结果融合策略

4.5实验结果及分析

4.5.1本章算法实验数据集

4.5.2本章算法实现细节

4.5.3主观实验结果分析

4.5.4客观实验结果分析

4.6本章小结

第五章总结与展望

5.1总结

5.2展望

致谢

参考文献

攻读硕士学位期间取得的成果