一种基于多重弱监督集成的短文本分类方法

摘要

本发明公开了一种基于多重弱监督集成的短文本分类方法，包括：获取原始数据集和知识库，并进行数据预处理；对预处理后的数据进行知识抽取；将抽取的知识表示为标注函数，并用于数据标注；通过条件独立模型，进行标签集成；基于全连接神经网络，训练分类模型；对所述分类模型进行评估及优化，获得最优模型；利用最优模型进行短文本分类。本发明基于多重弱监督集成的短文本分类方法：利用关键词匹配、正则表达式和远监督聚类相结合的方式，完整表达了显性知识和隐性知识；借助标签集成机制产生的概率标签，不仅实现了无标签数据的自动化标注，缓解了短文本的数据稀疏问题，而且有效解决了短文本的不平衡分类问题。