基于数据重构与孤立森林法的大坝自动化监测数据异常检测方法

摘要

大坝安全自动化采集的监测数据不可避免地存在粗差、缺测等问题,针对异常数据量值、数量以及分布规律的不确定性,人工删除异常值存在工作量大、主观性强等不足,提出一种基于数据重构与孤立森林法的异常数据检测方法,该方法是一种无监督的学习方法,不需要根据特征标签进行样本学习,适用范围较广。首先对大坝自动化监测数据进行分解与重构,分离出趋势项,而后用孤立森林算法对剩余项进行判别,计算测点的异常分数,并剔除明显的异常数据,最后再根据拉依达准则进一步清理异常数据。通过实例验证,该方法能较好检测出大坝安全自动化异常监测数据,满足工程实际应用。