进化多目标稀疏重构和集成学习

摘要

人工智能在将近六十多年的发展中已经取得了很大的进步。本博士论文主要探讨和研究人工智能的两个及其重要的研究领域：智能计算和分类问题。本博士论文研究了进化计算和分类器集成的几个关键性问题：1)针对约束优化问题中由于约束条件而造成的对全局最优解搜索困难的问题，提出了结合进化多目标的优点来解决约束优化问题；2)从理论角度分析和研究了可以用在大规模优化问题的分解算法；3)从多目标优化的角度分析和求解近几年在各个领域应用都非常广泛的稀疏重构问题;4)给出如何将压缩感知的优点应用到集成学习上并给出一种非常快速有效的分类器集成算法。总结起来，本博士论文的主要贡献如下：
　　?提出了一种用于约束优化的新颖选择进化策略
　　约束优化问题在理论和实践中都是一类很常见的问题。约束优化问题的解空间被约束条件分为可行解空间和不可行解空间。不可行解空间的存在使得解约束优化问题的算法很难在既保证效率、最优性又满足约束条件下快速收敛。这里，提出用多目标的技术来权衡在可行解和非可行解之间的搜索，并且提出一种自适应的选择策略来同时搜索对算法收敛有促进作用的可行解和不可行解。因为约束优化问题的最优解是一个可行的不可支配解，所以违反约束条件较小的不可支配解和目标函数值较小的可行解是对进化过程有益的两类解。提出的算法就是着重保存和搜索这两类解，并且也给出相关的理论证明。最后，也将提出的算法在22个标准函数测试库进行了算法性能的对比测试。实验结果也证实我们提出算法可以得到高效可行的结果。
　　?提出了一种基于二次混合偏导数的分解算法
　　在工程实践和科学研究中，研究者们通常会遇到大规模的优化问题。而这类问题的最大难点就是所谓的“维度灾难”。一种直观但高效可行的办法是“分而治之”的方法。协同进化计算方法使得进化计算解决问题的规模可以大幅度提高。这是由于协同进化计算首先将一个大规模的优化问题分为若干个小问题，然后再对每个小问题进行逐个求解，最后求得整个优化问题的最优解。这也使得分解方法成为决定协同进化计算性能的关键性因素。本章节中，主要从理论上研究大规模问题的变量之间的相关性，给出了相关的理论和推论。提出了一种基于二次混合偏导数的分解算法，并且在对差分分解算法进行深入研究的基础上，基于本章节的理论研究提出了一种随机差分分解算法，该分解算法可以解决差分算法无法解决的问题。最后的实验结果也证实了该算法的有效性。
　　?提出了一种进化多目标用于稀疏重构问题的算法
　　通过进化多目标的方法来研究在压缩感知中两个相互矛盾的代价函数（测量误差和稀疏正则项)。我们深入分析研究了稀疏重构问题，并通过实验数据证明此类问题的帕里托面上存在拐点区域，而且也进一步证实稀疏重构问题的最优解存在于拐点区域。此外，还提出一个基于问题的进化多目标局部搜索方法来处理压缩感知问题，进而提出了基于软阈值的多目标进化计算。该算法通过软阈值的方法来加强搜索这两个方向上的解：一类是加快朝帕里托面收敛速度的解；另一类是增加帕里托面解分布均匀性的解。通过对这两类解的着重搜索也促进了对拐点区域的确定，进而确保了对最优解的搜索。最后，通过和其他先进算法的对比实验证实了该算法的优点。也给出了该算法在实践应用中的实验结果，例如：从含有噪声污染的信号和图像中恢复出原始信号和图像。
　　?提出了一种基于压缩感知的快速高效集成算法
　　高效集成学习需要达到两个目标：尽量少的分类器个体数量和尽量高的分类精度。本博士论文中，介绍了这两个目标如何通过压缩感知的框架完美的实现。这里我们很巧妙地将分类器问题转化成为压缩感知问题，将集成学习的两个目标转化成为压缩感知中需要解决的两个问题，同时兼顾了分类器个体的稀疏性和集成总体的分类精度，进而提出了基于压缩感知框架的快速高效集成算法。本章中的另外一个贡献是提出一种新的集成学习性能评价指标-基于轮盘赌的kappa错误评价指标。该指标不仅仅考虑到各个分类器的权重，也有效地降低了最终在图像中显示出的分类器对数（但不影响读者对最终结果的判断)。此类方法可以更清楚直观地展示kappa图，尤其是在最后集成分类器较多的情况下更有效。实验部分我们在25个公开的测试数据上对比了四种不同稀疏重构算法用于集成学习的性能。最后的也给出提出算法和其他五个最好集成算法的对比实验结果。这些实验表明本文提出的算法不但可以得到更高的精度，并且在速度上也优越于其他的算法。
　　?提出了一种联合稀疏集成算法
　　阐述了如何通过使用一个联合稀疏表示方法，把一组稀疏系数向量分配给一组弱分类器，最后组合成一个性能较强的分类器合集。该方法中，训练数据被分成多个子组，以产生子欠定系统。然后采用联合稀疏方法将这些子群体联合起来，进而分享它们关于个体分类器的信息，以获得一种改进的集成结果。由于提出的联合稀疏集成需要将训练样本分割成若干个子集，这也使得提出的算法非常适合通过并行化处理的方式来处理大规模的问题。本章的另外一个贡献就是提出的算法可以处理多类别的分类问题（相比之下，上一章提出的方法只能处理两类问题)。文中，给出了两种不同的策略来产生子欠定系统，在两种对训练数据不同的处理方法下得到的实验结果也表明了此方法的有效性。另外，文中也给出了联合稀疏集成算法和其他五种经典方法的对比实验，实验结果也说明了所提出的方法在大多数的数据集上优于经典的方法。

目录

封面

声明

中文摘要

英文摘要

List of Figures

List of Tables

Symbols

Abbreviations

目录

Chapter 1 Introduction

1.1 Background of related topics

1.2 Motivations

1.3 Contributions

1.4 Layout of this thesis

Chapter 2 A novel selection evolutionary strategy for constrained optimization

2.1 Related work

2.2 Proposed approach

2.3 Experimental results

2.4 Concluding remarks

Chapter 3 Decomposition method for LSO based on mixed second order partial derivatives

3.1 Mixed second order partial derivatives decomposition method

3.2 Experimental results and discuss

3.3 Concluding remarks

Chapter 4 Evolutionary multi-objective optimization for compressed sensing problems

4.1 Multi-objective approach to sparse reconstruction

4.2 Experiments and discussions

4.3 Conclusions

Chapter 5 A compressed sensing approach for efficient ensemble learning

5.1 Compressed sensing ensemble

5.2 Roulette-wheel kappa-error diagram

5.3 Experimental results and discussion

5.4 Conclusion and future work

Chapter 6 Joint sparse representation for ensemble learning

6.1 Joint sparse reconstruction for ensemble learning

6.2 Experimental results and discussion

6.3 Concluding remarks

Chapter 7 Concluding remarks and future Work

参考文献

Appendix A Comparison of two cases and figure results in CHAPTER 4

A.1 Comparison of no-better-choice with random-choice

A.2 Figures produced by each algorithm for the benchmark problems

致谢

About the Author