基于度量学习和聚类的一致性预测器算法研究

摘要

一致性预测器算法是一种带置信度的域预测机器学习算法，该算法通过将所有满足预先设定的置信度的假设类别都作为域预测结果进行输出，从而实现预测风险可控。一致性预测器与传统的以提高点预测准确率为目的机器学习算法相比，更适用于高风险领域。
　　一致性预测器算法本质上是在线的，并且其在计算测试样本的随机性检验值时要频繁的存储和访问原始的样本序列，这对于一些大数据应用来说是难以承受的。另外，一致性预测器也存在易受非平衡因素影响的问题，其小类样本的域预测结果并不能满足预先设定的置信度（即小类的预测风险不能很好的控制）。但是目前针对一致性预测器在线计算效率和非平衡的研究较少，本文针对这两个问题对一致性预测器算法进行改进研究。
　　针对在线计算效率问题，本文提出了一种基于度量学习的一致性预测器算法，将度量学习算法引入到一致性预测器框架中，通过度量学习将部分在线计算代价转移到离线部分，同时也通过度量学习得到的空间转换矩阵将离线信息应用于在线预测，从而达到在保证预测效率的基础上提高在线计算效率的目的。
　　针对非平衡问题，本文分别在数据层面以及算法层面提出了基于聚类抽样的一致性预测器算法和基于聚类划分的一致性预测器算法。基于聚类抽样的一致性预测器算法通过对训练样本中的大类进行聚类后重新抽样得到平衡的训练样本，从而消除或降低非平衡影响。基于聚类划分的一致性预测器算法是通过对大类聚成k类，然后每个小聚类和原始小类一起构成一个分类器，测试样本的随机性检验值p取k个分类器结果中最大的大类随机性检验值对应的分类器结果。两种改进算法都能有效的降低非平衡影响，使得小类预测风险准确控制。

目录

声明

摘要

第一章 绪论

1．1 选题背景及研究意义

1．2 研究现状

1．3 主要研究内容与创新点

1．4 本文章节安排

第二章 一致性预测器概述

2．1 一致性预测器

2．1．1 一致性预测器原理

2．1．2 一致性预测的算法流程

2．2 奇异度量函数

2．2．1 基于K近邻的奇异度量函数

2．2．2 奇异值度量函数其它设计方法

2．3 现有的一致性预测器改进算法

2．3．1 归纳式一致性预测器算法

2．3．2 蒙德里安一致性预测器算法

2．4 本章小结

第三章 基于度量学习的一致性预测器研究

3．1 距离度量学习算法简介

3．1．1 局部Fisher判别分析算法(LFDA)

3．1．2 判别成分分析算法(DCA)

3．1．3 大间隔近邻算法(LMNN)

3．2 基于度量学习的一致性预测器算法

3．2．1 基于度量学习一致性预测器算法原理

3．2．2 算法时间复杂度分析

3．3 实验与分析

3．3．1 实验数据

3．3．2 实验指标

3．3．3 实验对比分析

3．4 本章小结

第四章 基于聚类的一致性预测器算法研究

4．1 现有处理非平衡的算法

4．2 基于聚类的一致性预测器算法

4．2．1 基于聚类抽样的一致性预测器算法原理

4．2．2 基于聚类划分的一致性预测器算法原理

4．2．3 算法时间复杂度分析

4．3 实验与分析

4．3．1 实验数据

4．3．2 实验指标

4．3．3 实验对比分析

4．4 本章小结

第五章 总结与展望

5．1 本文研究总结

5．2 研究课题展望

参考文献

附录

致谢