一种中文新闻标题及长文本内容的多类别数据集构建方法

摘要

本发明公开了一种包含标题及内容的多类别的中文新闻数据集的构建方法，目的是构建一个高效的新闻数据集。该方法的步骤主要包括：新闻文本数据搜集、数据清洗、数据集划分及评价，并使用英文制表符将标签、新闻标题和新闻内容分隔开，在传统机器学习算法和深度学习算法上进行文本分类实验并引入准确率、召回率、f1‑score值进行评价，实验结果表明，本发明的数据集在这些算法上的表现非常令人满意。目前已有的一些新闻文本数据集主要问题在于数据范围窄以及数据的时效性不强。本发明针对上述情况做了改进，数据范围更广、涵盖的范围更大，并且搜集到了更新的新闻数据。在进行了以上改进以后，本发明提出的数据集在诸多算法中能够取得较好的效果。