基于一对一分解的多标签分类算法研究

摘要

分类是指通过对已知类别的样本集进行学习，来预测未知类别样本的过程。多标签分类允许一个样本同时拥有多个标签，并且标签之间可能存在一定的关联性。由于在现实中的应用广泛，该问题得到了越来越多的关注，现有的处理多标签问题的方法主要有基于问题转换的方法及基于算法扩展的方法。
　　目前，将分解策略与支持向量机相结合的算法已经成为了处理多标签问题的有效方法之一。基于“一对一”分解策略的多标签分类算法能够将q类原问题分解成q(q-1)/2的子问题，通过集成所有子问题的解来得到原问题的解，优点在于能够简化问题的求解过程，并且弱化样本的不平衡性问题，但也伴随着新的问题，包括三类问题及阈值问题等。对于分解后可能出现的三类问题，本文采用了顺序回归的方法，将混合类看作新的类别，寻找两个平行的分类超平面将三种类别的样本划分开来，实现了三类支持向量机的多标签分类算法(OR-SVM)。而关于相关标签的选取问题，在本文提出的算法中，采用了离散贝叶斯方法来判别相关标签。
　　在实验部分，本文选取Yeast等10个基准数据集用于算法性能的比较，并选取了汉明损失、准确率、精度、召回率、F1值、排序损失、1错误率、覆盖率、平均精度共9个准则用于对算法性能的评估。在算法的参数调谐过程中，本文采用了三折叠的交叉验证方法，并根据训练集上排序损失及汉明损失的平均值进行最优参数的选取，然后在测试集上计算算法的9个性能指标值。通过与现有的多标签分类算法OVR-SVM等进行比较，使用排序的方法统计结果，并通过Friedman检验深入分析排序结果，结果显示，本文提出的算法具有较好的分类性能，在排序损失，1错误率等多个评价准则上都优于OVR-SVM等现有的多标签分类算法。

目录

声明

摘要

第1章 绪论

1．1 本研究的背景及意义

1．2 国内外研究现状

1．3 主要工作及安排

第2章 多标签分类算法及其性能评价准则

2．1 多标签分类算法划分

2．1．1 基于问题转换的多标签分类算法

2．1．2 基于算法扩展的多标签分类算法

2．2 基于一对一分解的多标签分类算法

2．3 多标签分类中的阈值问题

2．4 多标签算法的性能评价准则

2．4．1 基于样本的评价准则

2．4．2 基于排序的评价准则

2．5 多个算法比较方法

第3章 基于一对一分解和三类支持向量机的多标签分类算法

3．1 三类支持向量机的数学推导

3．1．1 最优分类面与支持向量机

3．1．2 三类支持向量机

3．1．3 对偶问题的最优化条件

3．2 基于一对一分解和三类支持向量机的多标签分类算法

3．3 与类似算法的比较与分析

第4章 实验结果及分析

4．1 实验数据集的介绍

4．2 实验中涉及到的其他算法的介绍

4．3 训练集上算法关键参数的调谐过程

4．4 测试集上算法的性能分析与比较

4．5 算法计算复杂性的实验比较

第5章 总结

5．1 本文的主要工作及结论

5．2 对今后工作研究的展望

参考文献

致谢