基于Log-det正则化的半径-间隔学习方法及其应用

摘要

半径-间隔学习方法作为机器学习领域较为热门的研究方向之一，在分类和识别等应用中得到了广泛的关注。半径信息的变化隐含在特征变换过程中，对于分类器的性能优化起着重要的作用。现有的半径-间隔学习方法均存在一定的缺陷和不足，限制分类器性能的进一步提升，同时算法的计算效率也有待提高。
　　针对上述问题，本文从模型优化的角度出发，构建了一个高效的基于Log-det正则化的半径-间隔支持向量机模型（L-SVM）。由于传统的半径-间隔SVM属于有约束的非凸模型，本文首先通过对半径R进行约束近似，将原始问题转化为无约束的凸优化模型，并采用Log-det正则化项进一步降低模型过拟合的可能性，同时给出了高效的算法求解策略。后续在多个UCI数据集上的线性和非线性分类结果验证了模型的有效性。其次，为了验证模型的泛化能力，我们将提出的模型应用于动作识别任务中，通过对视频提取多种局部特征，并采用Fisher Vector进行编码，最终用L-SVM分类器进行分类。实验结果表明本文提出的模型具备良好的泛化能力，能够适用于各项不同的分类识别任务。
　　通过将逐层次的特征提取和分类器学习相结合，卷积神经网络（CNN）在计算机视觉的多项任务中都取得了优异的性能。受此启发，本文将L-SVM模型嵌入到CNN框架中，通过交替迭代优化的方法提升动作识别的性能。为了提升CNN特征的区分能力，本文还将center正则化项加入到目标函数当中，保证在最大化类间间隔的同时最小化类内间隔。此外，本文也尝试在CNN网络中间层加入监督信息，以进一步提升算法的收敛性能。通过对不同的半径-间隔学习方法、加入center正则化项以及监督信息的性能对比分析，本文为CNN和半径-间隔学习方法的结合提供了崭新的视角。

目录

封面

中文摘要

英文摘要

目录

第1章 绪 论

1.1 课题背景与研究意义

1.2 国内外研究现状

1.3 基础模型理论

1.4 动作识别

1.5 主要研究内容和本文结构安排

第2章 基于Log-det正则化的R-SVM模型

2.1 基本思想

2.2 基于Log-det正则化的R-SVM模型（L-SVM）

2.3 L-SVM模型的学习算法

2.4 L-SVM模型的核方法

2.5 实验结果及其分析

2.6 本章小结

第3章 基于IDT特征和L-SVM模型的动作识别

3.1 基本思想

3.2 特征提取

3.3IDT特征的Fisher vector编码

3.4 基于L-SVM的动作识别

3.5 实验结果及分析

3.6 本章小结

第4章 基于CNN和L-SVM模型的动作识别

4.1 基本思想

4.2 CNN网络结构

4.3 半径信息的嵌入方式和学习算法

4.4 实验结果及其分析

4.5 本章小结

结论

参考文献

攻读硕士学位期间发表的论文及其它成果

声明

致谢