面向复杂工业大数据的实时特征提取方法

摘要

工业大数据具有大体量、多源性、连续采样和价值密度低等特点,造成其数据复杂度高、实时性强和异常数据多.而传统的特征提取方法已无法满足复杂工业大数据的实时性要求,同时工业大数据的处理方法不同于基于互联网的数据流处理方法,其对精度要求较高.针对该问题,提出一种鲁棒的增量在线特征提取方法,即鲁棒增量主成分分析,采用滑动窗口动态更新数据,过滤窗口内的异常数据点;然后对窗口内数据进行增量主成分分析,从而满足工业大数据处理的精度及实时性要求.实验结果表明,该方法可有效对数据流进行实时的特征提取,并达到一定的精度要求.