多视角的构建及其在单任务学习和多任务学习中的应用

摘要

根据获取方式或来源的不同，模式可由多组不同类别的信息集组成，即由多组彼此不同的属性集构成。在特定的应用领域中，立足于不同的视觉角度往往可得到不同的视觉效果，即对同一模式可形成多组不同方位或多层次的信息。在不同视角下的数据可能存在着较强的信息互补性，充分利用它们，能够达到从不同的角度米刻画待解决问题的目的。　　 这种思想在半监督学习中得到充分的体现。在半监督学习中，存在大量未标记样本和少量的已标记样本，需要利用未标记数据辅助已标记数据来获得较好性能的学习器。协同训练是一种简单有效的半监督学习方法，且是基于多视角的，通过不同的视角可以得到多个学习器。在学习过程中，学习器选出置信度较高的未标记样本进行相互标记，从而用于更新模型。目前，这个算法在广度及深度上都得到了扩展，基于协同训练设定下，也提出了很多新的多视角半监督学习算法。它们的成功应用展现了多视角学习方法的可行性。但在现实应用中，很多数据集仅仅只包含一个视角的描述，这在很大程度上限制了多视角学习方法的应用。因此，研究从原始数据中生成多个视角描述的方法是十分有意义的。　　 首先，本文采用遗传算法进行特征选择，根据最终模型目标，从已知的一组特征集中选择出有明显区分特性的特征子集，用其形成多个视角。这些由从原始数据集中选择出的与输出结果有关或重要的特征构成的视角，对于构造具有充分性的学习器是有保证的。实验结果以及与任意划分特征集形成多个视角的方法的比较表明，特征选择用于形成多个视角的方法是行之有效的，并且能够得到较充分的多个视角。　　 其次，本文为了获得更好的泛化性能，尝试了用多任务学习代替传统的单任务学习。本文完成了多任务学习在交通流量和人脸识别方面的应用，实验结果证明了其提高学习器的泛化性能的特点。　　 最后，将多任务学习应用于多视角半监督学习中，形成多视角多任务学习。希望多个任务平行进行学习的过程中，任务的训练信号中所包含的领域信息能够用于进行归纳偏置，从而改进泛化性能。实验表明多任务学习的引入，起到了改进学习器的泛化性的作用。

目录

文摘

英文文摘

声明

第一章 引言

1.1 研究背景与意义

1.2 国内外研究现状

1.3 本文工作与章节安排

第二章 多视角的构造方法

2.1 遗传算法

2.1.1 基本原理及特点

2.1.2 编码方式

2.1.3 适应度函数

2.1.4 算子操作

2.2 特征选择用于形成多视角

2.3 本章小结

第三章 多视角单任务学习

3.1 半监督学习算法

3.2 协同训练算法

3.3 多视角单任务半监督学习

3.4 特征选择形成多视角用于协同训练的实验

3.4.1 支持向量机

3.4.2 手写体识别实验

3.4.3 心脏分类实验

3.5 本章小结

第四章 多任务学习

4.1 多任务学习简介

4.2 神经网络多任务学习用于交通流量预测

4.2.1 建模机理

4.2.2 数据集描述及参数设置

4.2.3 实验过程

4.2.4 实验结果分析

4.3 多任务神经网络学习用于人脸识别

4.3.1 多任务神经网络学习用于人脸识别实验一

4.3.2 多任务神经网络学习用于人脸识别实验二

4.3.3 实验结果分析

4.4 本章小结

第五章 多视角多任务学习

5.1 多视角多任务学习

5.1.1 多任务学习

5.2 多视角多任务学习实验一

5.3 多视角多任务学习实验二

5.4 本章小结

第六章 总结与展望

附录u3000攻读硕士学位期间参加的科研项目和发表的学术论文

参考文献

感 谢