基于机器学习的民航不安全事件信息数据清洗

摘要

为解决民航不安全事件信息中分类不准确的问题,提出一种基于机器学习的数据清洗方案。首先,设计了一种基于one class svm的异常值筛选模型,筛选出现有航空不安全事件信息中事发阶段中标签错误的数据。其次,建立了一种基于BERT的分类模型对分类正确数据进行训练,利用经过训练的模型对筛选出来的异常数据进行重新分类。最后,将清洗后的数据与原始数据进行比较,清洗后的数据标签准确率提高了10.2%。实验结果表明,基于机器学习的数据清洗方法能够实现民航安全信息的数据清洗,提高了数据质量。