基于空间上下文的场景理解方法研究

摘要

场景理解是计算机研究领域的主要难点和热点,其根本目标就是让计算机如同人的大脑能正确理解自然场景以及其中的内容,计算机视觉和人工智能的发展促进了图像理解研究的大幅度进步,这三者有着密切的联系。经过几十年的研究，图像理解技术有了长足的发展，但仍存在很有挑战的问题，例如场景中物体的标签种类数量庞大；另外自然场景中海洋、天空、陆地、建筑、树木等占据了场景中大部分空间，人物、车辆、树木等则处于了极少部分的一端，而往往是这部分物体表达了关键的语义信息，这就使得场景的语义理解受到很大阻碍。
　　对于场景理解而言，充分利用全局的上下文信息尤为重要，很多现有模型或方法对上下文信息的建模只局限于较小范围，只能学习局部特征。针对局部上下文的局限性等问题，本文提出一种基于空间上下文的场景理解（Image parsing with spatialcontext，PSC）算法。该算法通过抽取位置特征向量学习了空间关系，形成空间关系字典以描述物体间位置关系以及共现性等信息，将其融入马尔可夫随机场作为方向约束补充全局的空间上下文信息。在上下文信息表达方面，对图像进行不同尺度的分割，在超像素上提取特征。PSC算法在MSRC和SIFT Flow数据集上进行了实验，通过与较为前沿的算法相比较，PSC算法在物体类别标记精度上占有绝对优势，像素标记精度也高于绝大多数其他算法。
　　综上，本文提出基于空间上下文的场景理解算法，从语义、空间上下文信息的角度把握全局信息，利用高级语义特征对场景内容进行描述，对场景理解的研究有着重要意义。在具挑战性数据集上的实验结果表明就准确性和鲁棒性而言，提出的算法优于最新水平的算法。

目录

声明

第1章 绪论

1.1研究背景和意义

1.2场景理解中的主要难点

1.3本文研究内容与结构安排

第2章 国内外研究现状

2.1图像分割技术现状

2.2场景理解研究现状

2.3本章小结

第3章 多尺度特征提取

3.1图像多尺度分割

3.2基于超像素特征提取

3.3本章小结

第4章 基于空间上下文场景理解模型

4.1空间上下文场景理解模型框架

4.2空间上下文关系字典构建

4.3语义标签与几何标签结合标注

4.4本章小结

第5章 实验验证

5.1实验设计与实验环境

5.2实验过程

5.3实验结果分析

5.4本章小结

第6章 总结与展望

6.1工作总结

6.2前景展望

参考文献

发表论文和参加科研情况说明

致谢