一种不平衡数据采样的中文文本类别识别系统及方法

摘要

本发明公开了一种不平衡数据采样的中文文本类别识别系统及方法，首先采用文本编码器对中文文本进行编码，形成句子向量表示；其次针对负样本数据采用多次DBSCAN聚类算法去除冗余和噪声数据，针对正样本数据构建深度学习样本选择器在随机生成样本的同时对样本进行过滤选择优质样本数据补充正样本；最后将选择的样本数据通过文本解码器进行解码，形成文本数据并与处理后的负样本数据共同构成均衡数据集，从而应用于文本分类模型。本发明采用了混合采样的方法对数据进行处理，特别针对负样本进行了冗余数据处理，对正样本构建了深度学习样本选择器对生成样本进行过滤，选择出优质的样本训练分类器，提升文本分类的性能。