基于知识蒸馏和半监督学习的非侵入式负荷分解

摘要

非侵入式负荷监测(non-intrusive load monitoring,NILM)中的负荷分解是一种将负荷总功率分解为各类负荷功率的技术;随着深度学习理论的发展,基于神经网络的负荷分解模型的误差逐渐降低,同时也带来了模型参数量大幅增加的问题.为了降低模型分解功率的误差,提出一种基于序列到序列(sequence to sequence,seq2seq)、双向门控循环单元(bi-directional gating recurrent unit,BiGRU)、自注意力机制和残差网络的负荷分解算法;为了减少神经网络的参数并充分利用无标签数据,提出一种基于知识蒸馏和半监督学习的训练框架;无标签数据经由预训练的教师网络处理,得到时序概率分布,用于指导学生网络的训练.在开源数据集REFIT上进行的模型性能测试结果表明,学生网络参数量仅为教师网络参数量的6.7％,平均绝对误差仅增加5.8％.