基于多任务学习的数据分类方法研究

摘要

在大数据应用环境下，信息产生的渠道不断增多，信息表达的方式也越来越多，数据的分析和挖掘面临很大的挑战。在机器学习领域，处理数据分类问题时，需要对进行分类的不同数据集建立对应的分类模型，即常规的单任务学习。但由于单任务学习存在信息利用不充分的局限性，导致分类正确率较低，因此挖掘多个训练任务之间的关联，对这些任务进行联合学习，从而提高模型泛化能力的多任务学习成为当前研究的热点课题之一。然而，现有分类方法在提取多个任务相关性方面仍有很大不足，忽略了对于含孤立任务的多个任务之间的关联性提取，以及与其他的分类技术进行有效结合，从而使分类正确率遇到瓶颈。本文通过利用机器学习领域的相关技术和方法，遵循提高数据分类正确率这一目标，针对目前基于多任务学习的数据分类技术存在的问题和不足展开研究，取得了一定的创新成果。论文主要研究工作有如下几点:
　　(1)针对现有多任务学习模型对任务间的关联提取层次较为单一和提取不充分问题，提出了一种实现稀疏诱导的多任务学习模型。在传统研究的基础上，本文通过利用可以实现稀疏诱导的组稀疏范数来获得针对特定任务的组稀疏，实现多个相关任务间的特征共享，并提取任务内各个类别之间的关联，同时结合不同特征组合之间的预测一致性原理，构造了在两个层次上全面提取任务间相关性的多任务学习模型。
　　(2)针对本文提出的MTMVC+分类模型，由于目标函数中存在非平滑正则项，为非凸函数，因此不能够使用传统的针对凸规划问题的求解算法。为此，本文提出并实现了一种交替迭代优化算法，通过对模型中的变量分别固定和求解，并不断交替迭代直至目标函数收敛，从而实现目标模型求解，此外进一步证明了该算法的收敛性。最后，通过在20Newsgroup数据集上进行实验，展示了算法的有效性。
　　(3)本文通过在WebKB、NUS-WIDE Object和Multi-feature digit三个多媒体基准数据集上进行实验，将本文提出的进行稀疏诱导的MTMVC+模型与当下多任务学习领域经典的模型进行对比，实验结果验证了本文提出的MTMVC+改进模型通过全面提取多个任务间关联，能够有效地提高数据分类正确率，并且计算出提升幅度在7％～9％。

目录

声明

致谢

摘要

1．1研究背景与意义

1．2国内外研究现状

1．3本文的研究工作

1．4本文组织结构

2相关技术概述

2．1数据分类

2．2多任务学习

2．2．1多任务学习原理

2．2．2任务间相关性

2．2．3多任务学习模型分类

2．2．4多任务学习关键算法研究

2．3本章小结

3基于多任务学习的分类模型设计

3．1正则化机制

3．1．1正则化原理

3．1．2正则化范数

3．2传统数据分类模型

3．3改进的多任务分类模型MTMVC+

3．3．1组稀疏

3．3．2 MTMVC+模型设计

3．3．3模型多分类实现

3．4本章小结

4针对MTMVC+模型的算法研究

4．1交替迭代原理

4．2 MTMVC+模型优化算法

4．2．1优化算法设计

4．2．2算法实现

4．3算法收敛性

4．3．1迭代算法收敛性原理

4．3．2 MTMVC+优化算法收敛性证明

4．4算法验证

4．4．1实验评价指标

4．4．2算法验证与分析

4．5本章小结

5实验结果对比与分析

5．1数据集

5．2实验环境

5．3对比方法

5．4性能度量

5．5实验参数设置

5．6实验结果对比与分析

5．6．1 WebKB结果对比与分析

5．6．2 NUS-WIDE Object结果对比与分析

5．6．3 Multi-feature digit结果对比与分析

5．7本章小结

6总结与展望

6．1工作总结

6．2工作展望

参考文献

作者简历及攻读硕士学位期间取得的研究成果

学位论文数据集