基于组稀疏的高维特征选择及图像标注研究

摘要

众所周知，图像中存在纹理、颜色和形状等全局特征以及SIFT和LBP等局部特征，不同视觉特征在表示特定高层语义时所起重要程度不同，正确的特征选择对于图像标注来说具有十分重要的意义。由于这些异构特征之间存在明显的组效应，即同一种类型视觉特征可自然归属为一组（如SIFT特征归属为一组，而颜色直方图归属为另一组），因此可充分利用这种“异构特征成组”先验知识 来加强高维特征表达，使得图像异构特征在表达时能充分利用这种结构性组效应。本文根据图像异构特征之间所存在的结构组效应，对基于组稀疏的高维特征选择方法及其在图像标注中的应用进行了研究。
　　首先，根据图像异构特征之间所存在组效应，应用组lasso以及Logistic回归构造了适合图像处理的异构特征选择机制(GroupLassowithLogisticRegression，简称GLLR)，从而对图像进行标注。此外，从现实世界中所获得数据中提取的高维异构特征往往分布在复杂非欧氏空间且线性不可分，为了将这种线性不可分的数据变得线性可分，以便于分析理解，本文将核学习的方法应用到图像标注中，提出了一种基于组稀疏和多核学习的图像异构特征选择方法(MultipleKernelLearningwithGroupSparsity,简称MKLGS)。由于MKLGS无法对组内的特征进行稀疏选择，为了加强特征的组稀疏效应，本文提出了一种结合组稀疏和组合核学习的图像标注算法（CompositeKernelLearningwithGroupStructure，简称CKLGS）。区别与MKLGS，CKLGS可以同时在特征组内和组间进行选择，使得异构特征的选择更具稀疏性及可解释性。
　　接着，本文提出了一种结合组稀疏的半监督跨域学习图像标注算法(Semi-supervisedCross-domainLearningwithGroupSparsity，简称S2CLGS)，利用目标域中未标注数据的流形结构信息以及辅助域中的标注数据来增强图像标注的性能，在最小化目标域和辅助域的图像分布差异同时，根据图像数据的结构组稀疏特征选择机制，选择最具区别性特征子集，进而训练该语义的分类模型，实现半监督的跨域图像标注机制。该方法的特点在于同时利用了半监督判别分析，跨域学习以及组稀疏结构特性。
　　随后，本文提出了一种基于非凸正则化因子的组群稀疏方法(NOn-conVexgroupspArsity,简称NOVA)，引入非凸的正则化因子使得基于特征组群结构属性的特征选择方法具有连续、无偏差和稀疏等“Oracleproperty”，能够保证特征选择结果的一致性。通过在模拟数据上进行的实验对比，证明了NOVA收敛于正确的模型(truemodel)，通过在真实数据集上进行的大量对比实验，本文证明了NOVA优于其他特征选择算法。
　　最后，本文提出了一种基于非凸组稀疏的多核学习图像标注算法(MultipleKernelLearningwithNOn-conVexgroupspArsity，简称MKL-NOVA)，以此来克服高维数据线性不可分问题以及凸正则化因子的选择结果不一致问题。考虑到图像多标注之间的关联性，从压缩感知理论出发，提出了一种基于典型相关性分析和l1-范数的稀疏表达算法来提升基于非凸的多核学习图像标注算法性能。该算法利用典型相关性分析得到多标注之间的关联关系，利用l1-范数正则化因子使预测的标注结果具有稀疏性，即使得相关的标注同时出现。

目录

摘要

图目录

表目录

第1章 绪论

1．1 研究背景

1．2 研究问题

1．3 本文研究内容与贡献

1．4 本文组织结构

第2章 相关研究综述

2．1 图像底层特征

2．1．1 全局特征

2．1．2 局部特征

2．2 图像标注算法

2．2．1 单标签图像标注

2．2．2 基于贝叶斯理论的图像多标注算法

2．2．3 半监督图像标注算法

2．2．4 跨域学习

2．3 稀疏表达概述

2．4 本章小结

第3章 基于组稀疏和多核学习的图像标注算法

3．1 引言

3．2 结合组lasso和Logistic回归的异构特征选择算法

3．2．1 符号表达

3．2．2 算法描述及求解

3．2．3 实验数据及评价标准

3．2．4 实验步骤及实验结果分析

3．3 基于组稀疏和多核学习的图像标注算法

3．3．1 结构组稀疏和多核学习的特征选择

3．3．2 算法流程

3．3．3 实验数据及评价标准

3．3．4 实验步骤及实验结果分析

3．4 结合组稀疏和组合核学习的图像标注算法

3．4．1 算法描述及求解

3．4．2 实验步骤及实验结果分析

3．4．3 稀疏性分析及参数调节

3．5 本章小结

第4章 结合组稀疏的半监督跨域学习图像标注

4．1 引言

4．2 结合组稀疏的半监督跨域学习算法

4．2．1 符号表达

4．2．2 算法描述

4．2．3 算法求解

4．3 实验分析

4．3．1 实验步骤

4．3．2 实验结果与分析

4．3．3 实验复杂度分析

4．4 本章小结

第5章 基于非凸组稀疏的图像标注算法

5．1 引言

5．2 非凸组稀疏特征选择

5．2．1 符号表达

5．2．2 模型表示

5．2．3 算法求解

5．2．4 强化图像标注

5．3 非凸组稀疏的一致性证明

5．3．1 Oracle性质

5．3．2 复杂度分析

5．3．3 模拟数据上的一致性特征选择实验

5．3．4 属性数据上的一致性特征选择实验

5．4 多标签图像标注

5．4．1 实验步骤

5．4．2 参数调节

5．4．3 性能比较

5．5 本章小结

第6章 基于非凸组稀疏的多核学习图像标注

6．1 引言

6．2 非凸组稀疏多核学习算法

6．2．1 符号表达

6．2．2 算法描述

6．2．3 算法求解

6．2．4 图像多标注算法性能提升

6．3 MKL-NOVA算法一致性证明

6．3．1 模拟数据上的算法一致性证明

6．3．2 属性数据上的算法一致性证明

6．4 图像多标注实验

6．4．1 实验步骤

6．4．2 实验结果与分析

6．5 本章小结

第7章 总结与展望

7．1 总结

7．2 展望

参考文献

攻读博士学位期间主要的研究成果

致谢