基于负相关神经网络集成的增量学习及其在人脸检测方面的应用

摘要

增量学习(Incremental Learning)是机器学习领域的一个研究热点，在很多领域都有广阔的应用前景。负相关学习(Negative Correlation Learning，NCL)是一种成功的神经网络集成学习方法，它鼓励集成的个体网络的差异性，使不同个体网络针对数据集的不同部分进行训练和学习，具有“部分学习(Partial Learning)”的效果，从而使集成整体更好地学习整个数据集并且能够克服“遗忘性”，表现出一定的增量学习潜力。 围绕着基于负相关神经网络集成的增量学习的研究和应用，本文主要的工作是： 1)介绍了增量学习的发展背景，详细描述了增量学习的定义，以及相对于传统批量学习方式的优势，介绍了增量学习的研究现状和一些经典的算法，对增量学习当前存在的难点问题和研究热点进行了讨论。 2)介绍了集成学习的思想和概念，并在此基础上引入负相关学习的概念，详细介绍了负相关学习的算法原理，讨论了它在增量学习领域的应用(Fixed Size NCL和Growing NCL)。 3)对现有NCL增量学习算法进行了实验研究，发现对于不同的测试问题和不同的增量方式，NCL参数的选择对于增量学习性能有较大影响。提出利用演化算法优化选择NCL参数，再用该组NCL参数实施增量学习。在多个典型测试问题上的实验结果表明，本文方法能有效提高NCL增量学习的鲁棒性、改进算法性能，同时避免了手工调节参数的局限性。 4)为了解决人脸检测完备样本库难以采集的问题，同时作为增量学习实际应用的一种有益尝试，把增量学习引入人脸检测器的设计和训练。介绍了人脸检测的概念、发展现状和一些经典算法，讨论了人脸检测(特别是正面竖直人脸)当前的难点和重点，论证了增量学习应用于人脸检测的可行性和优势。设计和实现了一种基于NCL的增量式人脸检测系统，使得人脸检测器拥有渐进学习的能力，并用检测结果验证了方法的有效性和可行性，讨论分析了方法的增量性能。

目录

文摘

英文文摘

声明

第1章绪论

1.1研究背景和意义

1.1.1增量学习研究的背景

1.1.2增量学习简介

1.1.3增量学习的意义

1.2研究现状

1.2.1一些增量学习算法的介绍与分析

1.3论文的重点和研究方法

1.4本文的主要工作和论文的组织

第2章负相关学习理论与算法介绍

2.1理论介绍

2.1.1负相关学习提出的背景和意义

2.1.2负相关学习算法介绍

2.2基于NCL的增量学习算法

2.2.1 NCL用于增量学习的可行性分析

2.2.2两种经典基于NCL的增量学习算法介绍与分析

2.2.3基于NCL的增量学习算法和经典算法的比较

2.3本章小结

第3章演化算法应用于基于NCL的增量式集成学习

3.1演化算法应用于参数选择

3.1.1初始参数对于神经网络性能影响

3.1.2测试问题选择

3.1.3初始参数对于NCL性能影响的论证

3.1.4算法的提出

3.1.5算法介绍及描述

3.1.6实验结果与分析

3.2本章小结

第4章增量NCL应用于人脸检测

4.1人脸检测技术

4.1.1人脸检测概念

4.1.2人脸检测发展现状

4.1.3难点分析

4.1.4人脸检测方法的性能评测方法

4.2基于NCL增量学习的人脸检测

4.2.1人脸检测器流程

4.2.2分类器训练设计总体框架

4.2.3实验与分析

4.3本章小结

第5章总结与展望

5.1全文工作总结

5.2展望

参考文献

致谢

攻读硕士学位期间发表的学术论文