结合主动学习的视觉场景理解

摘要

基于视觉的场景理解能够有效帮助和提高计算机对于复杂多变室内外场景的分析和认知能力，是计算机视觉领域的研究热点之一。根据场景的多层次语义表达，场景理解通常可分为局部场景理解和全局场景理解两大类。前者侧重于对场景局部区域的分布和类别进行分析和描述，诸如场景中各种不同类别局部目标的识别和定位；后者则侧重于理解场景的全局属性，比如场景分类。场景的局部和全局理解能够从不同认知层面加深计算机对于未知场景的认知和把握程度，在诸如智能监控，信息检索和移动机器人等领域具有广阔的应用前景，因而具有重要的研究价值和意义。由于视觉信息容易受视角，尺度，背景干扰和遮挡等因素的影响，目前的视觉场景理解技术在准确性和鲁棒性上依然存在着诸多问题。本文分别从场景理解的不同认知层面入手，分别研究了局部和全局场景理解领域中的三个热点课题，并在机器学习环节中结合了主动学习来实现人工样本标注数目的降低和分类器训练负担的减轻，本文内容和贡献如下：
　　 本文重点研究了一种基于支持向量机的多视角主动学习算法。由于主动学习具有降低样本复杂度的特点，因而在诸如目标识别和场景分类等视觉场景理解领域得到了越来越多的关注和发展。支持向量机在小样本分类中具有较好的性能，而多视角学习相比单视角学习则能够更好地降低样本的分类误差，因而两者的结合有助于改善主动学习的性能。本文算法针对传统的多视角主动学习算法协同测试在分类假设生成和采样策略中存在的不足分别提出了相应的改进。首先，本文将支持向量机作为各个视角的基本分类器，并将基于分类器序贯组合的Adaboost算法应用到多视角主动学习框架中以强化每次查询后生成的分类假设；其次，为了适应具有大规模未标记样本的训练集，本文提出了一种自适应的分级采样竞争策略，当分类争议样本数目较多时通过无监督谱聚类获得上述样本的空间分布描述，并在各个聚类中通过求解二次规划来结合样本的分类不确定度和冗余度信息以获得可靠的多视角采样。通过实验证明，本文提出的主动学习算法与目前几种主流算法相比能够更快地收敛并具有更高的分类性能。
　　 如何在静态图像中对多种不同类别的目标进行联合识别和分割是局部场景理解的重要研究领域之一。目前，该研究领域还有诸多难题没有解决。由于缺乏运动信息，目标识别和分割的结果容易受视角，光照以及遮挡等变化的影响。为此，本文提出了一种结合主动学习的多类别目标联合识别和分割方法。本文首先利用三种不同的无监督图像分割方法来获得目标的多分割描述以增强目标像素之间的空间关联。其次，通过第二章的方法构建多视角主动学习分类器来实现多分割图中各个分割块的分类，并在分割块的同质性预测基础上通过加权不同分割图的信息来降低分割块层目标分类的不确定度。最终，本文将分割块层的局部目标信息和基于图像层的全局目标信息融合到分级条件随机场框架中，通过图模型推理来同步实现目标分割的区域平滑和语义上下文优化。
　　 文中阐述了一种结合主动学习的非结构化道路分割方案。从图像中获取准确的道路区域在诸如自主驾驶和移动机器人等实用领域具有重要的应用价值，而在复杂多变的非结构化场景中将道路与非道路区域进行准确区分则面临比传统的结构化道路场景更大的挑战。为此，本文在结合图像区域和边界信息的基础上，提出了一种自顶向下的道路分割方法。基于像素层分类的方法通过基于自监督的在线学习来提高对于道路场景变化的适应性，而马尔可夫随机场则用于实现分类结果的空域平滑。基于道路边界约束的方法则通过估计道路的消失点位置来获取可靠的道路边界描述。本文通过基于多视角主动学习的全局道路分类器来预测当前场景所对应的道路模型，并根据不同的道路类型自适应地选择最优的道路分割方法。此外，本文在道路渐变的先验假设基础上通过时域平滑机制分别对像素层分类和道路模型预测进行改进，从而进一步提高了道路分割的可靠性。
　　 场景分类能够帮助计算机在宏观上准确理解各种复杂的环境类型，从而在诸如基于内容的图像检索和自主驾驶等多个领域能够发挥重要的作用。为此，本文提出了一种结合主动学习的场景分类方法。在多视角主动学习算法框架中，本文采用了三个基于不同特征的视角来分别生成相应的假设：首先，本文使用多种不同的目标检测器来获取场景内部的局部目标响应特征；其次，空间关系集的挖掘能够更好地增强场景中各个局部区域之间的空间语义关联；最后，本文提出了一种基于级联的在线隐狄利柯雷分布主题模型框架。基于随机梯度下降的在线隐狄利柯雷分布模型可以更好地适用于大规模样本库的学习，而针对不同的空间金字塔层采用基于加权的联合主题建模则能够获取更为准确的场景主题描述。实验表明，上述三种特征均相比于传统的低层图像特征能够从不同角度对高层图像语义进行更为有效地描述，而基于上述视角特征随机组合的多视角主动学习算法相比于传统的单视角主动学习算法能够更快地实现收敛并达到较高的场景分类准确性。