云环境下基于极限学习机的XML文档分类的研究与实现

摘要

XML文档分类技术在XML数据管理中具有重要的学术意义和应用价值。如何对XML数据实现基于语义信息和结构信息的快速分类学习是当前热门的研究方向之一。此外，随着互联网技术的发展，基于MapReduce的云计算技术以其强大的并行计算能力，成为海量数据处理中最普及的计算技术。
　　极限学习机（Extreme Learning Machine，ELM）在分类问题上具有极快的学习速度和好的泛化性能，并且已经被证明极限学习机与支持向量机在优化问题的角度上具有一致的优化目标。极限学习机能够使用支持向量机中的核函数以简化支持向量机的计算过程。然而，带有核函数的极限学习机的计算过程主要是矩阵计算，随着训练样本规模的增大，急剧增长的内存消耗将影响计算效率。
　　本文针对海量XML数据规模的分类问题，在MapReduce计算模型的基础上提出了基于核函数的极限学习机的海量XML数据的分布式训练方案。其中，分布式XML表达模型转换算法(MapReduce based Structured Link Vector Model，MR-SLVM)能够快速地将海量XML训练数据转换为能够作为极限学习机输入的表达模型;分布式核函数极限学习机(Distributed Kernelized ELM，DK-ELM)实现了核函数极限学习机的并行训练;采用随机奇异值分解方法(Stochastic Singular Value Decomposition，SSVD)实现分布式矩阵求逆;设计了两个DK-ELM的子算法以确保DK-ELM在MapReduce模型上的并行性，包括分布式径向基核函数（Distributed Radial Basis Function，D-RBF）和分布式矩阵向量乘法(Distributed Matrix-Vector Multiplication，DMXV)。
　　最后，在真实的分布式集群环境中，通过大量真实数据集的实验测试了MR-SLVM和DK-ELM的可扩展性和分类训练性能。实验结果表明，本文提出的训练方案在不影响核函数极限学习机的计算理论的前提下，具有较好的可扩展性。

目录

声明

摘要

第1章 绪论

1．1 研究背景

1．2 研究目的与意义

1．3 本文主要工作

1．4 本文组织结构

第2章 相关研究工作

2．1 XML文档分类

2．1．1 分类问题综述

2．1．2 传统分类算法综述

2．1．3 XML数据模型

2．2 极限学习机

2．3 云计算技术

2．4 本章小结

第3章 分布式XML表达模型

3．1 XML表达模型

3．1．1 传统文档模型

3．1．2 XML文档表达模型

3．2 分布式结构链接向量模型

3．2．1 MapReduce计算模型

3．2．2 分布式结构链接向量模型算法

3．3 本章小结

第4章 核函数极限学习机的分布式算法

4．1 核函数极限学习机学习方案

4．1．1 最小二乘支持向量机

4．1．2 极限学习机

4．1．3 核函数极限学习机

4．2 分布式特性分析

4．3 分布式核函数极限学习机

4．3．1 分布式核函数

4．3．2 分布式矩阵向量乘法

4．4 本章小结

第5章 实验及结果分析

5．1 实验环境

5．2 实验数据集及方案

5．2．1 实验数据集

5．2．2 实验方案

5．3 对比实验

5．3．1 MR-SLVM性能分析

5．3．2 DK-ELM算法性能分析

5．3．4 DK-ELM与K-ELM性能对比

5．4 本章小结

第6章 总结与展望

6．1 总结

6．2 展望

参考文献

致谢

攻读硕士学位期间参加的项目和发表的论文