基于极限学习机的无监督领域适应学习

摘要

作为一种训练速度快、人工调参量小的神经网络模型，极限学习机（ELM）获得了广泛的研究和关注。与所有的机器学习分类模型一样，当测试样本和训练样本分布不同时，传统极限学习机便无法准确分类，现有的领域适应极限学习机模型亦难以达到较好的跨领域分类性能。为此，本文从分类器自适应与特征表示自适应两方面出发，构建了具有较好领域适应能力的极限学习机分类模型，主要研究内容如下： （1）基于ELM分类器参数的领域迁移常常无法实现目标域的无监督学习，并且现有的ELM跨领域分类器均只适配输出层权重而忽略了隐含层权重的自适应学习。针对上述问题，提出一种基于极限学习机的无监督领域适应分类器。首先，利用自编码极限学习机（ELM-AE）对所有源域和目标域数据进行最小误差重构，通过重构学习获得的ELM-AE参数能同时表征源域和目标域数据；然后，将极限学习机的隐含层权重设置为ELM-AE重构学习参数的转置，使得极限学习机的隐含层权重具有较好的领域不变特性；最后，在求解极限学习机输出层权重的目标函数中嵌入联合概率分布匹配正则项和流形正则项，在目标域无监督的情况下完成输出层权重的领域适应调整。 （2）领域适应极限学习机的参数需要同时具备分类功能和领域适应功能，这样往往不容易充分发挥这二者各自的作用。此外，当领域间的差异较大时，传统基于数据概率分布的匹配无法找到源域和目标域的公共子空间来进行概率分布适配。为缓解分类器参数双重作用的压力，将整个学习过程分为特征表示学习与分类器自适应学习两个阶段，提出一种联合特征表示与分类器学习的无监督领域适应ELM模型。首先，在特征表示阶段，将源域和目标域数据分别映射至各自的子空间并同时最小化二者的概率分布差异；其次，根据子空间对齐的思想进一步减小源域和目标域子空间之间的几何差异；然后，在分类器自适应学习阶段，利用目标域平滑流形正则项来提高参数的自适应能力；最后，在优化目标函数时，借鉴EM算法的思想逐步依次优化各阶段的参数直至收敛。 在USPS vs Mnist、Office vs Caltech-256和MSRC vs VOC2007数据集上的实验结果表明，所提模型能有效解决跨领域分类问题并具有更好的领域适应能力。

目录

声明

致谢

变量注释表

1 绪论

1.1研究背景与意义

1.2 国内外研究现状

1.2.1 极限学习机研究现状

1.2.2 领域适应研究现状

1.2.3 基于极限学习机的领域适应

1.3本文研究内容

1.4论文组织结构

2 极限学习机与领域适应研究概述

2.1极限学习机简介

2.1.1 人工神经网络

2.1.2 极限学习机

2.1.3 极限学习机优化算法

2.2 自编码极限学习机

2.3领域适应方法概述

2.3.1 分布差异度量

2.3.2 概率分布适配

2.3.3 子空间对齐

2.4本章小结

3 基于极限学习机的无监督领域适应分类器

3.1研究背景

3.2系统结构框图

3.3 基于极限学习机的无监督领域适应分类器

3.3.1 ELM领域不变隐含层学习

3.3.2 具有迁移能力的ELM输出层权重学习

3.3.3 目标函数求解

3.4算法步骤

3.5实验结果分析

3.5.1 实验数据集

3.5.2 参数分析

3.5.2 对比实验

3.6本章小结

4 联合特征表示与分类器学习的无监督领域适应ELM

4.1研究背景

4.2系统结构框图

4.3 联合特征表示与分类器学习的无监督领域适应 ELM

4.3.1 特征表示学习

4.3.2 分类器自适应学习

4.3.3 目标函数求解

4.4算法步骤

4.5实验结果分析

4.5.1 实验数据集

4.5.2 参数分析

4.5.3 对比实验

4.5.4 特征可视化

4.6本章小结

5 总结与展望

5.1 总结

5.2 展望

参考文献

作者简历

学位论文原创性声明

学位论文数据集