基于词向量和主题向量嵌入的文本分类方法研究

摘要

互联网技术的飞速发展使得文本数据呈指数级增长,如何有效分析和利用这些数据,充分发掘其中蕴含的价值是文本大数据分析处理的首要任务,而这其中针对文本的分类处理是一个重要分支.文本分类是一种有监督的学习过程,通过大量标注数据训练分类模型,实现基于文本内容按预先设定的分类体系自动确定文本类别.传统基于词嵌入技术的神经网络文本分类方法由于未充分考虑文本内容的全局特征,存在分类效果不佳等问题.因此,文中提出一种综合文本局部特性(词嵌入技术)和文本内容全局特征(主题嵌入技术)的文本表示方法,并在此基础上通过构造多层神经网络,实现对文本的自动分类.在诸如情感分析、主题分类等多种文本分类任务数据集上的测试结果表明,本文所提方法相较于传统基于词嵌入技术的文本分类方法有明显提升.