基于演化算法的序回归技术研究

摘要

在很多实际应用中，数据的类别之间存在一种自然的序关系。例如，我们用1～5星去评价一部电影，3星评价高于2星评价，而4星评价低于5星评价。和标称数据不同，我们称这样一类数据为有序数据。有序数据的类别之间可以排序，但类别之间的差异却没有精确的定义。例如，对电影的3星评价通常被认为优于2星评价，但是3星究竟比2星好多少却难以度量。预测有序数据的序的学习问题，称之为序回归。序回归有着广泛的实际应用场景，例如情感分析、信息检索、推荐系统、信用评价、医学等。
　　序回归问题作为机器学习、数据挖掘领域重要的问题之一，越来越受到研究者们的关注。已有的工作主要集中在研究有监督序回归问题。然而，当缺少足够的有标签数据时，该问题变得难以处理。在很多实际应用中，有标签数据往往难以获取并且校对起来代价很高。而无标签数据通常大量存在，并且易于获得。因此，同时考虑有标签数据和无标签数据的半监督序回归问题具有重要的研究意义和实际价值。本文以此为动机，对半监督序回归问题做了一定的研究和讨论。
　　本文提出了一种基于加权核判别分析的半监督序回归技术。该算法通过一个加权策略来引入无标签数据，而权重体现了不同训练数据对于类分布的贡献大小。通过同时使用有标签数据和无标签数据，可以更准确地估计类的分布信息，从而获得更好的投影向量和阈值。该投影向量将原始数据映射到一个一维的空间，使得相邻类别之间可以分隔开、相同类别的数据可以聚合紧，同时保持正确的序关系;阈值用来预测新样例的序。该算法使用一种标签传播的方法来计算权重。然而，由于标签传播算法没有考虑数据中的序信息，导致估计的权重有时不是很准确。为了更准确地估计类的分布信息并进一步提升性能，我们提出了改进的算法——基于演化算法的半监督序回归技术。该算法通过使用演化算法来优化无标签数据的权重，优化目标是使学习器拥有良好的学习性能和泛化能力。由于同时引入了无标签数据和序信息，所以该问题是一个非凸且不可导的优化问题。演化算法适用于处理这类问题，我们在本文使用差分进化算法。为了降低优化问题的维度，本文提出了一种权重更新规则和个体表示方法，用来间接地演化权重。通过该方法，问题维度从无标签样例个数量级下降到序个数量级。在多个数据集上的实验结果，证明了本文提出的两个半监督序回归算法的有效性。

目录

声明

摘要

表格索引

插图索引

算法索引

第一章 绪论

1．1 研究内容背景及意义

1．2 文献综述及研究成果

1．3 本文概述及主要贡献

1．3．1 本文研究内容

1．3．2 本文主要贡献

1．3．3 本文结构

第二章 序回归技术发展回顾

2．1 序回归问题定义和评估指标

2．2 基于有监督学习方式的序回归技术

2．2．1 直接用传统分类或回归方法处理的序回归技术

2．2．2 先分解成二分类问题再进行处理的序回归技术

2．2．3 拓展传统分类模型引入序信息的序回归技术

2．3 基于半监督学习方式的序回归技术

2．4 基于演化算法的序回归技术

2．4．1 演化算法及演化机器学习

2．4．2 演化算法在序回归问题中的应用

2．5 发展趋势及不足

2．6 小结

第三章 基于加权核判别分析的半监督序回归技术

3．1 半监督序回归问题定义

3．2 半监督学习

3．3 KDLOR算法回顾

3．4 基于加权核判别分析的半监督序回归算法

3．4．1 估计无标签数据对每个类别的隶属度

3．4．2 基于加权核判别分析的半监督序回归算法

3．5 实验验证

3．5．1 实验设置

3．5．2 合成数据集

3．5．3 真实数据集

3．6 小结

第四章 基于演化算法的半监督序回归技术

4．1 基于演化算法的半监督核判别分析序回归算法

4．1．1 个体表示

4．1．2 适应度函数

4．1．3 差分进化

4．2 实验验证

4．2．1 实验设置

4．2．2 处理大数据

4．2．3 实验结果

4．3 小结

第五章 总结

参考文献

致谢

在读期间发表的学术论文与取得的研究成果