视觉物体分类中局部特征建模方法研究

摘要

视觉物体分类是图像检索、海量视频数据应用、视觉感知替代、自动机器人和交互式游戏等应用中极具挑战性的关键技术，具有广泛的应用需求和重大的应用研究价值。视觉物体分类的研究目标是发现图像中的物体并决定其所属类别。本文在视觉词袋模型框架下，研究视觉物体分类中的局部特征建模方法，包括局部特征线性编码、池化方式以及空间匹配方案，并给出了相应的改进方法，主要工作及创新点如下：
　　 (1)提出了局部约束主成分线性编码方法。从分析局部特征与K个近邻视觉单词的线性相关性和检验局部线性编码模型的显著性着手，指出引起局部线性编码模型中单个权重系数不显著的根本原因为K个近邻视觉单词之间的复共线性。为此，给出主成分估计的改进办法，该方法解决了复共线性带来的不稳定、均方误差大的问题。在Caltech-4图像数据集上的视觉物体分类实验结果表明，该方法提高了视觉物体分类正确率。
　　 (2)提出了基于视觉词汇主成分的局部约束线性编码方法。通过分析发现局部约束主成分线性编码方法在解决复共线性问题的同时也增加了编码过程的时间开销。针对该问题，本文将对于每个局部特征的K个近邻视觉单词的主成分的确定简化成对视觉词汇只做一次主成分确定，视觉词汇主成分的数量根据累积贡献率而定。实验结果表明，基于视觉词汇主成分的局部约束线性编码方法将线性编码时间减少了1/3；当累积贡献率为85％，视觉词汇主成分个数为20时，基于视觉词汇主成分的局部约束线性编码方法的性能是最优的，综合考虑了编码时间和分类效果；本文提出的两种线性编码方法在每种池化方式下都提高了分类正确率，并且它们的分类正确率相近，证明基于视觉词汇主成分的局部约束线性编码方法在减少时间开销的同时，保留了局部约束主成分线性编码方法的优点。
　　 (3)针对目前局部特征建模中引入空间位置信息的空间金字塔匹配方法缺乏对图像中视觉物体平移、缩放和旋转的考虑，本文提出一种基于视觉词汇形状描述模型的空间匹配方法。该方法相对于每个视觉单词的几何中心建立空间几何模型，保证平移不变性；给出对数极坐标空间金字塔匹配，对对数极半径和极角做等比例划分，保证缩放不变性；并在空间金字塔划分过程中确定极角的主方向，从而保证旋转不变性。分别在Caltech-4数据集和自建图像数据集上对该方法进行了验证和比较。实验结果表明，该方法提高了分类识别正确率，特别是对于包含明显平移、缩放和旋转变化的图像数据集；而且该方法的方差变小，说明其鲁棒性更强。
　　 (4)在研究局部特征线性编码方法的基础上，讨论局部特征编码的池化方法，引进指标规范化。在Caltech-4数据集上的实验结果表明，引入的指标规范化降低了局部特征描述模型向量的稀疏性；明确了局部特征描述模型向量的稀疏程度对分类结果的重要影响。
　　 (5)综合本文提出的有关局部特征建模的方法进行综合实验。Matlab环境中的实验结果表明，Caltech-101图像数据集上本文方法的平均分类正确率(ACA)高于其它5种流行方法；Pascal VOC2007图像数据集上本文方法在没有考虑多种局部特征融合以及采用线性SVM分类器的情况下，平均查准率(AP)接近于Pascal VOC2007竞赛的最好分类结果。最后实现了一个基于C/S架构的视觉物体分类系统原型。