一种基于表码值的能耗数据处理方法和系统

摘要

本发明公开了一种基于表码值的能耗数据处理方法。该方法包括：设备端发送“表码值”格式的能耗数据；数据预处理程序接收能耗数据；数据预处理程序通过欧式距离算法、第一算法对能耗数据中的异常数据进行识别，以及通过第二算法对能耗数据中的缺失数据进行识别；数据预处理程序通过平均插补法对异常数据进行修正，以及通过有效数据插补法对缺失数据进行追补；数据预处理程序将正常的能耗数据、修正后的能耗数据以及追补后的能耗数据保存至数据预处理程序的表码值表中。本发明通过使用欧式距离算法，平均值插补法和最后有效数插补法的特性，识别能耗数据中的异常数据，修正异常数据，追补缺失数据。

说明书

技术领域

本发明属于电力领域，特别涉及一种基于表码值的能耗数据处理方法和系统。

背景技术

传统的能源管理系统在数据统计的过程中直接将从表计中读取的表底值进行能耗数据的统计,在统计过程中特别依赖表计的功能和通讯状态的稳定性。如果某些关键点的表底值没有正确保存会导致统计值错误。错误现象主要为：

1.表码值不正确，统计的能耗值不准确

不同厂家的表计规格不同，使用的驱动不同，在一些处理不匹配的情况下，会保存一些没有意义的表码值，或者偏大、偏小等情况的错误表码值。这些数值会导致能源管理系统在后续的统计中出错，统计出不准确的能耗值。

2.表码值不连续，缺失，导致统计的能耗值错误

由于现场计量设备、采集终端设备、通信设备、协议解析、现场环境干扰等原因，会造成采集的定时记录数据不连续，缺失等情况。利用间隔累计值等方法统计最小统计间隔的累计值得出的时段能耗值就是错误的数据。

3.关键点表码值缺失，导致能耗值无法统计

关键点表码值缺失的时候，利用两个时刻的表码值相减的方法来计算能耗值的方法就不适用，此时无法统计出能耗值。

4.不同时段的能耗值不一致

由于表码值不连续、缺失的情况，导致不同时段的能耗值错误，无法统计的情况，不同时段的能耗值在一起对比，分析的时候就出现不一致的情况。例如，本月所有日的能耗值相加不等于月的能耗值。

发明内容

本发明的目的在于提供一种基于表码值的能耗数据处理方法和系统，旨在解决传统的能源管理方法和管理系统在数据统计的过程中由于表码值错误或缺失得到错误的统计数据的问题。

为了解决上述技术问题，本发明通过如下技术方案实现的：

一种基于表码值的能耗数据处理方法，所述方法包括：

设备端发送“表码值”格式的能耗数据；

数据预处理程序接收所述能耗数据；

数据预处理程序通过欧式距离算法、第一算法对所述能耗数据中的异常数据进行识别，以及通过第二算法对所述能耗数据中的缺失数据进行识别；

数据预处理程序通过平均插补法对所述异常数据进行修正，以及通过有效数据插补法对所述缺失数据进行追补；

数据预处理程序将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至数据预处理程序的表码值表中。

作为进一步的技术方案，设备端发送表码值格式的能耗数据之前，所述方法还包括：

设备端采集能耗数据；

设备端以预设的固定间隔选择能耗数据；

设备端以“表码值”格式保存选择的能耗数据至设备端中的定时记录表。

作为进一步的技术方案，所述数据预处理程序将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至表码值表中之前，所述方法还包括：

数据预处理程序建立表码值表；

数据预处理程序存储所述表码值表。

作为进一步的技术方案，所述数据预处理程序通过欧式距离算法、第一算法对所述能耗数据中的异常数据进行识别，以及通过第二算法对所述能耗数据中的缺失数据进行识别包括：

从表码值表中选取相邻的两个参考点的能耗数据(X₁，Y₁)、(X₂，Y₂)，根据欧式距离算法的公式D＝sqrt((X₁-X₂)^2+(Y₁-Y₂)^2)/(|X₁-X₂|)，计算得出标准距离D；

若与参考点Y₂相邻的识别点A(X₃，Y₃)的能耗值Y₃大于Y₂，则计算D₁＝sqrt((X₃-X₂)^2+(Y₃-Y₂)^2)/(|X₃-X₂|)，若D₁大于coe*D，其中coe为突变系数，可以根据不同的现场情况进行设置，则识别出该识别点A的能耗数据为异常数据，若D₁小于或等于D，则识别出该识别点A的能耗数据为正常数据；

若根据第一算法公式Y₃-Y₂<0，则再检查该数据预处理程序是否换新，若该数据预处理程序换新，则识别出该识别点A的能耗数据为正常数据，若该数据预处理程序没有换新，则识别出该识别点A的能耗数据为异常数据；

若根据第二算法公式Y₃＝0或Y₃不存在，则识别出该识别点A的能耗数据为缺失数据。

作为进一步的技术方案，所述数据预处理程序通过平均插补法对所述异常数据进行修正，以及通过有效数据插补法对所述缺失数据进行追补包括：

若识别出该识别点A为异常数据，则取与A相邻的另一个参考点Y₄(X₄，Y₄)，利用平均值插补法得出修正值Y₃修正＝(Y₂+Y₄)/2，将该修正后的修正值Y_3修正，得到该识别点A的能耗数据为(X₃，Y_3修正)；

若识别出该识别点A为缺失数据，则通过有效数据插补法取与A相邻的参考点Y₄(X₄，Y₄)得到该识别点A的追补值Y_3追补＝Y₄，得到该识别点A的能耗数据为(X₃，Y_3追补)，(X₁,Y₁),(X₂,Y₂),(X₃,Y₃)，其中Y3不存在，为缺失数据，那么Y_3追补＝Y2，该识别点A的能耗数据为(X₃，Y_3追补)。

一种基于表码值的能耗数据处理系统，所述系统包括设备端和数据预处理程序；

所述设备端包括：

发送模块，用于发送“表码值”格式的能耗数据；

所述数据预处理程序包括：

接收模块，用于接收所述能耗数据；

识别模块，用于通过欧式距离算法、第一算法对所述能耗数据中的异常数据进行识别，以及通过第二算法对所述能耗数据中的缺失数据进行识别；

修补模块，用于通过平均插补法对所述异常数据进行修正，以及通过有效数据插补法对所述缺失数据进行追补；

第一数据库模块，用于将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至该第一数据库模块的表码值表中。

作为进一步的技术方案，所述设备端还包括：

采集模块，用于在发送模块发送表码值格式的能耗数据之前，采集能耗数据；

选择模块，用于以预设的固定间隔选择能耗数据；

第二数据库模块，用于以“表码值”格式保存选择的能耗数据至该第二数据库模块中的定时记录表。

作为进一步的技术方案，所述数据预处理程序还包括：

建立模块，用于在将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至表码值表中之前，建立表码值表；

储存模块，用于存储所述表码值表至所述第一数据库模块。

作为进一步的技术方案，所述识别模块包括：

计算单元，用于从表码值表中选取相邻的两个参考点的能耗数据(X₁，Y₁)、(X₂，Y₂)，根据欧式距离算法的公式D＝sqrt((X₁-X₂)^2+(Y₁-Y₂)^2)/(|X₁-X₂|)，计算得出标准距离D；

第一识别单元，用于当与参考点Y₂相邻的识别点A(X₃，Y₃)的能耗值Y₃大于Y₂，则计算D₁＝sqrt((X₃-X₂)^2+(Y₃-Y₂)^2)/(|X₃-X₂|)，若D₁大于coe*D，其中coe为突变系数，可以根据不同的现场情况进行设置，则识别出该识别点A的能耗数据为异常数据，若D₁小于或等于D，则识别出该识别点A的能耗数据为正常数据；

第二识别单元，用于根据第一算法公式Y₃-Y₂<0，则再检查该数据预处理程序是否换新，若该数据预处理程序换新，则识别出该识别点A的能耗数据为正常数据，若该数据预处理程序没有换新，则识别出该识别点A的能耗数据为异常数据；

第三识别单元，用于根据第二算法公式Y₃＝0或Y₃不存在，则识别出该识别点A的能耗数据为缺失数据。

作为进一步的技术方案，所述修补模块包括：

修正单元，用于当识别出该识别点A为异常数据，则取与A相邻的另一个参考点Y₄(X₄，Y₄)，利用平均值插补法得出修正值Y₃修正＝(Y₂+Y₄)/2，将该修正后的修正值Y_3修正，得到该识别点A的能耗数据为(X₃，Y_3修正)；

追补单元，用于当识别出该识别点A为缺失数据，则通过有效数据插补法取与A相邻的参考点Y₄(X₄，Y₄)得到该识别点A的追补值Y_3追补＝Y₄，得到该识别点A的能耗数据为(X₃，Y_3追补)，(X₁,Y₁),(X₂,Y₂),(X₃,Y₃)，其中Y₃不存在，为缺失数据，那么Y_3追补＝Y₂，该识别点A的能耗数据为(X₃，Y_3追补)。

有益效果：

本发明通过使用欧式距离算法，平均值插补法和最后有效数插补法的特性，识别能耗数据中的异常数据，修正异常数据，追补缺失数据，保证能源管理系统中能耗数据的连续性和完整性，提高能耗统计数据的正确性和应用价值。

附图说明

图1是本发明实施例1的一种基于表码值的能耗数据处理方法的方法流程图。

图2是本发明实施例1的一种基于表码值的能耗数据处理方法中识别异常数据点的流程图。

图3是本发明实施例2的一种基于表码值的能耗数据处理系统的系统框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明的技术方案，下面通过具体实施例来说明。

实施例1

如图1所示，一种基于表码值的能耗数据处理方法，所述方法包括：S101：设备端发送“表码值”格式的能耗数据；S102：数据预处理程序接收所述能耗数据；S103：数据预处理程序通过欧式距离算法、第一算法对所述能耗数据中的异常数据进行识别，以及通过第二算法对所述能耗数据中的缺失数据进行识别；S104：数据预处理程序通过平均插补法对所述异常数据进行修正，以及通过有效数据插补法对所述缺失数据进行追补；S105：数据预处理程序将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至数据预处理程序的表码值表中。在本发明的实施例1中，所述“表码值”格式为“记录时刻/能耗值”。所述欧式距离算法欧氏距离(EuclidDistance)也称欧几里得度量、欧几里得距离，是一个通常采用的距离定义，它是在m维空间中两个点之间的真实距离。在二维空间中的欧氏距离就是两点之间的直线段距离；二维空间的欧氏距离公式为：d＝sqrt((x1-x2)^2+(y1-y2)^2))，所述第一算法为识别点的能耗值与相邻的参考点的能耗值进行比较以及检查数据预处理程序是否换新，该第一算法公式为f＝Y3-Y2；该第二算法为计算该识别点的能耗值Y3是否大于0或不存在。在本发明实施例1中，平均值插补法是取两个参考点的平均值作为查补到中间时刻的方法。有效数插补法是在时间序列数据中，如果某个关键时刻的数据缺少，将前面最近的有效数据作为该时刻的数据的方法。需要说明的是，该数据预处理程序为一具有显示界面以及控制处理单元的数据预处理程序，其具有显示和数据处理的功能，其内部包括有一数据库，用于存储表码值表和表码值。该表码值表具体举例如下表1:

(1,10)(2,20)(3,30)(4,40)(5,50)(6,60)(7,70)(8,80)(9,90)(10,100)(11,110)(12,120)(13,130)(14,140)(15,150)(16,160)(17,170)(18,180)(19,190)(20,200)(21,210)

表1

在本发明的实施例1中，设备端发送表码值格式的能耗数据之前，所述方法还包括：设备端采集能耗数据；设备端以预设的固定间隔选择能耗数据；设备端以“表码值”格式保存选择的能耗数据至设备端中的定时记录表。需要说明的是，该预设的固定间隔一般采用5分钟、10分钟或其他更大或更小的时间间隔，若采用半小时为时间间隔，则得到的能耗数据以表码值的形式表示为(4:30,1000)、(5.00,1200)等。

在本发明的实施例1中，所述数据预处理程序将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至表码值表中之前，所述方法还包括：

数据预处理程序建立表码值表；

数据预处理程序存储所述表码值表。具体的，数据预处理程序将表码值表存储到该数据预处理程序的数据库中。

请结合图2，在本发明实施例1中，所述数据预处理程序通过欧式距离算法、第一算法对所述能耗数据中的异常数据进行识别，以及通过第二算法对所述能耗数据中的缺失数据进行识别包括：

从表码值表中选取相邻的两个参考点的能耗数据(X₁，Y₁)、(X₂，Y₂)，根据欧式距离算法的公式D＝sqrt((X₁-X₂)^2+(Y₁-Y₂)^2)/(|X₁-X₂|)，计算得出标准距离D；

若与参考点Y₂相邻的识别点A(X₃，Y₃)的能耗值Y₃大于Y₂，则计算D₁＝sqrt((X₃-X₂)^2+(Y₃-Y₂)^2)/(|X₃-X₂|)，若D₁大于coe*D，其中coe为突变系数，可以根据不同的现场情况进行设置，则识别出该识别点A的能耗数据为异常数据，若D₁小于或等于D，则识别出该识别点A的能耗数据为正常数据；

若根据第一算法公式Y₃-Y₂<0，则再检查该数据预处理程序是否换新，若该数据预处理程序换新，则识别出该识别点A的能耗数据为正常数据，若该数据预处理程序没有换新，则识别出该识别点A的能耗数据为异常数据；

若根据第二算法公式Y₃＝0或Y₃不存在，则识别出该识别点A的能耗数据为缺失数据。

具体举例，若参考点的数据为(10:00,1000)和(11:00,1100)，通过欧式公式计算得d的参考值为100，该识别点A的数据为(12:00,1200),则按照欧式算法的公式可知该识别点A的数据与相邻的识别点数据(11:00,1100)的欧式距离为100，该识别点为正常数据，若该识别点的数据为(12.00,1500)，则计算后可知该识别点的能耗数据为异常数据。若该识别点的数据为(11:00,900)，则检查是否更换了新表，若更换了新表，则该识别点数据为正常数据，若没有更换新表，则该识别点的数据为异常数据。若该识别点的数据不存在或为0，则识别出该识别点为缺失数据。

在本发明的实施例1中，所述数据预处理程序通过平均插补法对所述异常数据进行修正，以及通过有效数据插补法对所述缺失数据进行追补包括：

若识别出该识别点A为异常数据，则取与A相邻的另一个参考点Y₄(X₄，Y₄)，利用平均值插补法得出修正值Y₃修正＝(Y₂+Y₄)/2，将该修正后的修正值Y_3修正，得到该识别点A的能耗数据为(X₃，Y_3修正)；

若识别出该识别点A为缺失数据，则通过有效数据插补法取与A相邻的参考点Y₄(X₄，Y₄)得到该识别点A的追补值Y_3追补＝Y₄，得到该识别点A的能耗数据为(X₃，Y_3追补)，(X₁,Y₁),(X₂,Y₂),(X₃,Y₃)，其中Y3不存在，为缺失数据，那么Y_3追补＝Y2，该识别点A的能耗数据为(X₃，Y_3追补)。

具体的，若该识别点数据为(12：00,1500)，则取相邻的参考点数据(11:00,1100)和(13:00,1300)进行计算得到修正值Y_3修正＝(1100+1300)/2＝1200，若该识别点的能耗数据不存在，则取相邻的参考点数据(11:00,1100)和(13:00,1300)进行追补，得到该识别点的数据为(12:00,1300)。当然，在其他的实施例中，也可为其他的实施方式，并不局限于本发明的该优选实施方式。

本发明通过使用欧式距离算法，平均值插补法和最后有效数插补法的特性，识别能耗数据中的异常数据，修正异常数据，追补缺失数据，保证能源管理系统中能耗数据的连续性和完整性，提高能耗统计数据的正确性和应用价值。

实施例2

如图3所示，一种基于表码值的能耗数据处理系统，所述系统包括设备端2和数据预处理程序3；

所述设备端2包括：

发送模块200，用于发送“表码值”格式的能耗数据；

所述数据预处理程序包括：

接收模块300，用于接收所述能耗数据；

识别模块301，用于通过欧式距离算法、第一算法对所述能耗数据中的异常数据进行识别，以及通过第二算法对所述能耗数据中的缺失数据进行识别；

修补模块302，用于通过平均插补法对所述异常数据进行修正，以及通过有效数据插补法对所述缺失数据进行追补；

第一数据库模块303，用于将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至该第一数据库模块的表码值表中。

在本发明实施例2中，所述设备端2还包括：

采集模块201，用于在发送模块发送表码值格式的能耗数据之前，采集能耗数据；

选择模块202，用于以预设的固定间隔选择能耗数据；

第二数据库模块203，用于以“表码值”格式保存选择的能耗数据至该第二数据库模块中的定时记录表。

在本发明实施例2中，所述数据预处理程序3还包括：

建立模块304，用于在将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至表码值表中之前，建立表码值表；

储存模块305，用于存储所述表码值表至所述第一数据库模块。

在本发明实施例2中，所述识别模块301包括：

计算单元，用于从表码值表中选取相邻的两个参考点的能耗数据(X₁，Y₁)、(X₂，Y₂)，根据欧式距离算法的公式D＝sqrt((X₁-X₂)^2+(Y₁-Y₂)^2)/(|X₁-X₂|)，计算得出标准距离D；

第一识别单元，用于当与参考点Y₂相邻的识别点A(X₃，Y₃)的能耗值Y₃大于Y₂，则计算D₁＝sqrt((X₃-X₂)^2+(Y₃-Y₂)^2)/(|X₃-X₂|)，若D₁大于coe*D，其中coe为突变系数，可以根据不同的现场情况进行设置，则识别出该识别点A的能耗数据为异常数据，若D₁小于或等于D，则识别出该识别点A的能耗数据为正常数据；

第二识别单元，用于根据第一算法公式Y₃-Y₂<0，则再检查该数据预处理程序是否换新，若该数据预处理程序换新，则识别出该识别点A的能耗数据为正常数据，若该数据预处理程序没有换新，则识别出该识别点A的能耗数据为异常数据；

第三识别单元，用于根据第二算法公式Y₃＝0或Y₃不存在，则识别出该识别点A的能耗数据为缺失数据。

在本发明实施例2中，所述修补模块302包括：

修正单元，用于当识别出该识别点A为异常数据，则取与A相邻的另一个参考点Y₄(X₄，Y₄)，利用平均值插补法得出修正值Y₃修正＝(Y₂+Y₄)/2，将该修正后的修正值Y_3修正，得到该识别点A的能耗数据为(X₃，Y_3修正)；

追补单元，用于当识别出该识别点A为缺失数据，则通过有效数据插补法取与A相邻的参考点Y₄(X₄，Y₄)得到该识别点A的追补值Y_3追补＝Y₄，得到该识别点A的能耗数据为(X₃，Y_3追补)，(X₁,Y₁),(X₂,Y₂),(X₃,Y₃)，其中Y₃不存在，为缺失数据，那么Y_3追补＝Y₂，该识别点A的能耗数据为(X₃，Y_3追补)。

本发明通过使用欧式距离算法，平均值插补法和最后有效数插补法的特性，识别能耗数据中的异常数据，修正异常数据，追补缺失数据，保证能源管理系统中能耗数据的连续性和完整性，提高能耗统计数据的正确性和应用价值。

值得注意的是，上述实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读取存储介质中的存储介质，如ROM/RAM、磁盘或光盘等。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。