环境因素数据质量审核方法研究

摘要

目的解决大气环境试验站的气象数据报表存在数据缺失、数据超过边界、数据内部不一致、数据时间不一致等问题,采用数据质量审核技术找出缺失、可疑或错误的数据,对科研人员进行警示,使其能够追根溯源,分析存在问题的原因。方法参照相关规程和标准,建立环境因素数据质量审核算法和审核流程,并使用计算机语言编程固化流程和算法,利用多线程算法对数据进行扫描,实现大批量气象数据的并行审核。结果利用Python语言设计了环境因素质量控制软件,通过该软件的应用证明了该方法合理、有效,能够快速、准确地标注气象数据报表中存在质量问题的数据。利用软件统计了存在问题数据的数量和正确率。结论通过加载数据测试,证明了环境因素数据质量审核方法和审核流程合理有效,利用设计的审核软件实现了气象数据报表快速审核,提高了审核效率,减少了科研人员的劳动强度,为进一步填补、修正和利用数据奠定了基础。