一种多粒度文本纠错数据集生成方法、装置及设备

摘要

本发明属于人工智能技术领域，具体涉及多粒度文本纠错数据集生成方法、装置及设备。所述生成方法具体包括：获取新闻网站的新闻语料，并进行语料预处理，获得预处理语料；将预处理语料进行实体标注后，按照预设的关系抽取方法进行实体分类获得语料中实体之间的关系；根据实体及实体之间的关系构建多元组，并根据知识图谱进行多元组内实体的替换，获得词粒度文本纠错数据集；获取实体，基于混淆字集进行实体中字替换，获得字粒度文本纠错数据集。该方法根据关系抽取确定错误生成位置，基于混淆集和字频生成字粒度的错误，基于知识图谱生成词粒度的错误获得多层次纠错数据集，能显著提高中文文本纠错模型在新闻领域的精度。