基于实时数据库存储的数据清洗方法和系统及存储介质

摘要

本发明公开了一种基于实时数据库存储的数据清洗方法，包括：将实时运行数据包数据解析，按照列式存储方式落盘至实时数据库；检查数据是否存在非法字符、数据缺失、数字量错误、模拟量超限和逻辑错误，并针对检查出的错误数据分别进行清洗和补齐。还公开了一种基于实时数据库存储的数据清洗系统和一种存储介质。本发明通过对实时数据的非法字符、数据缺失、数字量错误、模拟量超限和逻辑错误进行检查，清洗和补齐，保证数据库落盘的数据准确性和有效性，保证业务系统数据分析、指标评价结果准确性。还可实现用户依据实际情况灵活配置阈值或校正值，更好的解决错误数据清洗工作，能满足数据处理的适应性，满足数据处理规则由用户灵活配置的要求。