基于分解策略的多标签在线分类算法研究

摘要

多标签分类中每一个样本可能同时与多个类别标签相关联，是传统的单标签分类中每个样本只能属于一个类别的扩展。近年来，多标签分类成为机器学习领域的一个研究的热点，出现了许多多标签分类算法。目前的多标签分类方法对训练样本的处理大多采用批量学习的方式，要求所有训练样本是可重复访问的，在具体算法实现中往往需要将整个训练数据集一次读入内存。对于较大规模的分类问题，批量学习的算法显得效率不够高或无法处理。在一些特殊的应用场景中，数据以序列的方式进入，批量学习算法也不能适用。与批量学习相对的，在线学习算法以可以很好地应对大规模数据的学习问题及顺序到达的流式数据。目前，已发表的采用在线学习方式的多标签分类算法还很少。
　　本文采用基于问题分解的策略，使用二类相关的问题分解方法，结合已有的一阶和二阶在线两类分类算法，提出了6种采用在线学习方式的多标签分类算法:MLCd-Perceptron, MLCd-ALMA, MLCd-OGD, MLCd-PA, MLCd-AROW,MLCd-SCW。在实验中，在5个较大规模的多标签基准数据集上，对6种在线多标签分类算法以及采用批量学习方式的ML-kNN算法在10个多标签分类性能评价指标及运行时间上进行比较。实验结果表明，平均来看，MLCd-OGD方法和MLCd-AROW算法相对于其他在线多标签算法有更好的性能。
　　对于多标签分类算法，分类阈值的选择是影响算法性能的一个重要方面，合适的阈值选择策略可以进一步提升分类算法的性能。本文对于多标签在线分类算法中的阈值选择方法进行研究，在最简单的阈值设置为常数的基础上，采用增量方式学习一个最小化汉明损失的线性回归模型的阈值选择策略。实验部分，在5个多标签基准数据集上，本文对应用两种不同阈值选择策略的多标签在线分类算法得到的实验结果进行了比较。实验结果表明采用线性回归模型的阈值选择策略对提高分类器性能有显著作用。

目录

声明

摘要

第1章 绪论

第2章 多标签分类及其在线分类算法

2．1 多标签分类

2．1．1 多标签分类方法

2．1．2 多标签评价指标

2．1．3 多标签基准数据集

2．2 在线分类算法

2．2．1 在线分类算法概述

2．2．2 一阶在线分类算法

2．2．3 二阶在线分类算法

2．3 多标签在线分类算法的研究现状

2．4 小结

第3章 基于分解策略的多标签在线分类算法

3．1 基于二类相关分解的在线分类算法

3．1．1 二类相关分解策略

3．1．2 经典的在线二类分类算法

3．1．2 基于分解策略的多标签在线分类算法

3．2 MLCd多标签在线分类方法的实验结果与分析

3．2．1 算法参数设置

3．2．2 算法运行性能比较结果与分析

3．2．3 算法运行时间比较

3．3 小结

第4章 多标签在线分类算法中的阈值研究

4．1 多标签分类算法中的阈值选择

4．1．1 阈值问题介绍

4．1．2 目前主要的阈值选择策略

4．2 线性回归模型的增量算法

4．2．1 多元线性回归分析

4．2．2 最小二乘估计的增量算法

4．2．3 岭回归的增量算法

4．3 MLCd多标签在线分类算法中的阈值选择

4．3．1 针对汉明损失优化的阈值函数

4．3．2 阈值选择对算法性能比较结果与分析

4．4 小结

第5章 总结和展望

参考文献

致谢