一种数据质量提升和增强的方法及装置

摘要

本发明属于中医药实体抽取技术领域，尤其涉及一种数据质量提升和增强的方法及装置，通过获取待训练样本数据，将所述待训练样本数据进行部分标注标签、部分无标签处理，将含标签的所述待训练样本数据均分成n份原始训练集；通过预训练，获得n个训练模型，使用n个训练模型分别对无标签的待训练样本数据进行匹配预测，获取n份预测结果；通过数据去噪：判断模块判断出训练样本数据是否标注有误，并修正，再通过实际环境再校验。本发明有效减少了噪声数据，提高了数据质量，使训练模型的稳定性和精确度大大提高，彻底解决了由于中医药实体名称庞大、复杂带来的数据噪声大，难以去除，严重影响了AI和深度学习的使用效果的技术难题。