几种典型机器学习方法及其应用研究

摘要

随着信息技术的高速发展,人们已在很多应用领域积累了大量的数据,对这些数据进行分析并学习数据中蕴含的知识,成为了这些应用领域的共同要求。机器学习是当前人工智能领域的热点研究方向之一,它本身也是一个应用驱动的学科。已有的研究成果表明,很多应用问题采用机器学习的方法来解决是一种行之有效的渠道或手段。本文针对若干典型的应用问题,采用或提出合适的机器学习方法进行处理,取得了较好的效果。本文工作主要包括以下四个方面的内容:1.类别不平衡学习、代价敏感学习及其在交叉销售上的应用研究。交叉销售已成为企业盈利的重要手段,如何解决其数据中普遍同时存在的类别不平衡和代价敏感问题是准确预测交叉销售客户的关键,也是难点之一。为解决上述应用问题,本文结合类别不平衡学习和代价敏感学习技术,提出了一种使用最优阈值投票的方法。该方法首先结合过抽样和欠抽样技术获取多个类别平衡的训练数据集,然后在每个平衡数据集上分别训练得到多个底层学习器,最后利用所提出的基于最优阈值的投票集成方法集成底层学习器得到决策模型。在PAKDD2007数据挖掘竞赛的交叉销售数据集上的实验验证了该方法的有效性。
　　 2.半监督学习及其在指纹图像分割上的应用研究。指纹图像分割是自动指纹识别系统预处理中的关键技术之一。传统的分割方法需要大量已标记的指纹图像作为训练数据,但实际应用中获取标记样本比较繁琐和耗时。本文根据半监督学习的思想,提出了一种基于协同训练的指纹图像分割方法,以综合利用已标记和未标记的指纹图像。该方法在基于像素水平的Coherence、Mean、Variance特征体系下,使用标记盒和支持向量机作为基分类器进行协同训练。在FVC2002指纹库上的实验结果表明,该方法能够在标记信息较少的情况下取得较好的性能,并且在处理低质量指纹图像时也表现出了较强的鲁棒性。
　　 3.距离度量学习及其在基于内容的图像检索(content-basedimageretrieval,CBIR)上的应用研究。在CBIR应用中,一个关键步骤就是度量图像间的距离或相似度。距离度量学习可以为给定的任务学习到恰当的距离度量准则并已被成功地应用于很多领域。然而,现有的多数距离度量学习均是离线式的方法,并不适用于CBIR的在线应用环境；现有的少数在线式距离度量学习方法也无法有效地利用图像库中充裕的未标记图像信息。为解决上述问题,本文提出了一种在线式的半监督距离度量学习方法并应用至CBIR中。该方法针对每个用户查询及其后续的相关反馈学习一个距离度量准则。检索任务被设计成一系列的凸优化问题,本文也给出了闭式解以实现快速求解。该方法根据用户的查询和反馈信息来产生约束信息,并基于Qsim的思想有效利用了图像库中的未标记图像。在COREL图像库上的实验也验证了该方法的有效性。
　　 4.相关特征映射及其在CBIR上的应用研究。CBIR系统的最终目的就是依据用户的查询为用户搜索相关图像,其搜索的准确性和可靠性在很大程度上取决于系统内部的排序方法。本文提出了一种基于相关特征映射技术的排序方法。分析显示,映射之后的空间能更好地适用于CBIR的排序任务。本文也设计了一个新的排序算法以快速有效地在相关特征空间中实现排序和检索。该方法避免了高耗费的距离计算,这也大大不同于主流的基于距离或相似度度量的排序方法。在COREL图像库上的实验也表明该方法在检索性能和时间消耗上均优于现有方法。

目录

文摘

英文文摘

TABLE OF CONTENTS

第一章 绪论

1.1 机器学习简介

1.2 类别不平衡学习、代价敏感学习与交叉销售

1.3 半监督学习与指纹图像分割

1.4 距离度量学习与基于内容的图像检索

1.5 相关特征映射与基于内容的图像检索

1.6 本文的组织结构

第二章 类别不平衡学习、代价敏感学习及其在交叉销售上的应用研究

2.1 交叉销售

2.1.1 问题描述

2.1.2 问题分析

2.2 VOTCL

2.2.1 底层学习算法选择

2.2.2 数据重抽样

2.2.3 基于最优阈值的投票集成方法

2.3 实验

2.3.1 交叉销售数据集

2.3.2 实验设计及分析

2.3.3 VOTCL决策机理解析

2.4 本章小结

第三章 半监督学习及其在指纹图像分割上的应用研究

3.1 CoSeg

3.1.1 算法流程

3.1.2 算法细节

3.2 实验

3.2.1 实验设置

3.2.2 实验结果及分析

3.3 本章小结

第四章 距离度量学习及其在CBIR上的应用研究

4.1 QOML

4.1.1 总体框架

4.1.2 约束信息

4.1.3 目标函数

4.2 求解算法

4.2.1 分解过程

4.2.2 求解过程

4.3 实验

4.3.1 实验设置

4.3.2 QOML同现有方法的对比

4.3.3 增加相关反馈轮数

4.3.4 基于Qsim的半监督加权机制

4.2.5 使用不同的初始矩阵

4.4 本章小结

第五章 相关特征映射及其在CBIR上的应用研究

5.1 算法流程

5.2 ReFeat

5.2.1 离线建模过程

5.2.2 在线检索:仅有一个查询图像的情况

5.2.3 在线检索:包含相关反馈的情况

5.2.4 一个说明性的示例

5.2.5 复杂度分析

5.3 实验

5.3.1 实验设置

5.3.2 ReFeat同现有方法的对比

5.3.3 相关特征映射

5.3.4 改变图像库的原始特征维数

5.3.5 不同参数的影响

5.4 本章小结

第六章 总结与展望

参考文献

致谢

攻读学位期间发表的学术论文目录

攻读学位期间申请的专利情况

攻读学位期间获得的奖励情况

学位论文评阅及答辩情况表