基于AMI与J2EE的智能用电数据管理方法及系统

摘要

本发明公开了基于AMI与J2EE的智能用电数据管理方法，包括以下步骤：根据不同业务需求，按照待采集数据的配置条件要求，进行分配采集任务；采集任务执行，根据编制好的采集任务，按照要求自动下发采集指令到采集终端或量测设备，获取采集终端或量测设备的各类数据；数据检查，对采集回来的数据进行业务规则检查、数据完整性检查、数据质量检查，以针对数据结果正确与否进行的检查；数据存储，将采集终端或量测设备采集回来的数据存储到缓存区达到设定量后进行批量存储；智能用电数据管理系统，包括传感器、串口服务器、通讯服务电路、采集终端，在不需要增加硬件设施的条件下，采用技术手段自动或手动补采，做到数据的完整性。

说明书

技术领域

本发明涉及用电数据管理、用电数据采集、展示和智能监控领域，具体的说，是基于AMI与J2EE的智能用电数据管理方法及系统。

背景技术

目前在美国广泛应用的是高级量测体系AMI，而其中重要的是计量数据管理系统（MDMS）。MDMS是一个带有分析工具的数据库，通过与AMI自动数据手机系统的配合使用，处理和储存电表的计量值，能与其他信息系统之间进行交互，如用电信息系统、账单系统、电力网站、停电管理系统、电能质量管理和负荷预测系统、移动工作组管理、地理信息系统、变压器负荷管理系统。

MDMS的一个基本功能是对AMI数据进行确认、编辑、估算、以确保即使通信网络终端和用户侧故障时，流向上述信息系统或软件的数据流也是完整这准确的。

我国各主要电力公司根据业务发展需要，从20世纪90年代至今，已经建立了针对不同类型用户的电能信息采集系统，主要有关口电能量采集系统、电力负荷管理系统、客户电能量采集系统、低压集中抄表系统和配电自动化系统，并且各种电能量采集终端的安装已经具有一定规模。电能信息采集系统利用微电子和计算机网络、传感等技术自动读取和处理表计数据，将城市居民的用电信息加以综合处理。它主要实现用电数据采集、用电数据管理、表计控制、营销业务综合应用、表计运行维护管理。

现有的采集系统无法满足不同类型用户、不同类型能源的采集需求，缺乏统一规划、统一标准规范，往往一个计量点要安装几个采集终端和各自系统主站交换数据。这不仅造成人力、物力等资源的极大浪费，还增加了计量设备的负担，影响了计量的准确度和设备的可靠行。

比如用户用电信息智能采集系统侧重于数据的采集、分析和预测，而减弱了数据检查和数据挖掘的功能，这样就不能保证的数据的完整性和正确性。

为此设计出弥补数据完整性的采集系统，如具有备用集中器的用电信息采，主要是通过当主集中器与主站之间的通信发生故障而不能将用电数据发送到主站时或当主集中器与采集器之间的通信发生故障而不能实时采集用电数据时，启动并切换到备用集中器，备用集中器将尚未发给主站的来自主集中器的用电数据继续发送到主站，并且继续收集采集器采集到的用电数据并且发送到主站的方法来降低数据完整性的缺陷。但是此方法是通过增加硬件设备的方法来解决的，这样就不可避免的增加了投入成本，也增加了投入效益回收年限。

发明内容

本发明的目的在于提供基于AMI与J2EE的智能用电数据管理方法及系统，在不需要增加硬件设施的条件下，采用技术手段自动或手动补采，做到数据的完整性。

本发明通过下述技术方案实现：基于AMI与J2EE的智能用电数据管理方法，包括以下步骤：

步骤A、采集任务分配：根据不同业务需求，按照待采集数据的配置条件要求，进行分配采集任务；

步骤B、采集任务执行：经步骤A，根据编制好的采集任务，按照要求自动下发采集指令到采集终端或量测设备，获取采集终端或量测设备的各类数据；

步骤C、数据检查：对步骤B采集回来的数据进行包括业务规则检查、数据完整性检查、数据质量检查，以针对数据结果正确与否进行的检查；

步骤D、数据存储：将采集终端或量测设备采集回来的数据根据业务需要划分为一类实时数据、二类历史数据、三类事件数据，分别建立对应的消息队列，将数据存储到缓存区达到设定量后进行批量存储。

进一步的，为更好的实现本发明所述方法，所述步骤A包括：

步骤A.1、数据采集：智能用电数据管理系统对Q/GDW 376.1-2009协议、MODBUS等采集终端常规协议的兼容开发与特性开发，根据不同的业务需要，通过智能电表、集中器、采集器采集能耗设备数据，通过传感器采集环境温度数据、辐射、风速、压力等数据；

步骤A.2、数据过滤：将从主要由传感器组成的量测设备和主要由智能电表、集中器、采集器组成的采集终端得到的响应报文通过智能用电数据管理系统各种内置的过滤器进行数据匹配与过滤，最终转换成智能用电数据管理系统能够识别的数据和信息。

进一步的，为更好的实现本发明所述方法，所述步骤B包含如下步骤：

步骤B.1、收集市面上各种主流采集终端或量测设备的通信协议；

步骤B.2、针对这些协议分析通信规则，找共性，开发兼容通信包；

步骤B.3、针对主流采集设备的个性通信规则，进行最小差异化开发；

步骤B.4、打包成一个大共性，小异性的兼容性通信API；

步骤B.5、搭建测试环境，对主流采集设备进行测试

步骤B.6、根据测试结果修改程序；

步骤B.7、完成采集任务执行过程。

进一步的，为更好的实现本发明所述方法，所述步骤C包含如下步骤：

步骤C.1、数据采集过程：针对管理界面接收到的采集任务信息，按其具体配置条件对采集任务进行分组分时执行，按照配置条件匹配目标采集终端的通信协议对应在智能用电数据管理协议解析中的API，通过智能用电数据管理数据处理层对API的采集指令进行数据转换，自动按照采集任务下发采集设备能够识别的加密的采集指令到采集终端，智能用电数据管理数据处理层对采集终端反馈的加密的数据进行算法解密，并将采集回来的数据转换为智能用电数据管理系统能够识别和存储的格式。

步骤C.2、数据质量检查：提供有效的数据检查指标，对采集的数据的合理性、有效性进行检查；

步骤C.3、检查结果：通过智能用电数据管理系统按照业务规格设置的数据验证指标对数据进行验证，来实现数据的完整性和正确性；

步骤C.4、经步骤C.3，如果所采集数据为合格数据或采集数据成功则将执行步骤D；如若所采集数据为不合格数据或采集数据不成功则将进行数据补采的选择，当选择补采，执行步骤C.1，当选择不补采，执行步骤D。

进一步的，为更好的实现本发明所述方法，步骤C.3还包括以下步骤：

步骤C3.1、采集质量检查：对采集任务的执行质量进行检查，统计数据采集成功率、采集的完整率；

步骤C3.2、实时召采：数据检查完成后发现存在问题进行的差异化采集通讯。

基于AMI与J2EE的智能用电数据管理方法及系统，包括传感器、串口服务器、通讯服务电路、采集终端，所述传感器通过串口服务器同通讯服务电路连接，所述通讯服务电路连接采集终端，所述采集终端包括智能电表、集中器和采集器；在所述通讯服务电路设置有将传感器、智能电表、集中器、采集器等所得终端或量测设备的响应报文进行数据匹配与过滤的过滤链层；在所述通讯服务电路设置有用于完成步骤B、步骤C、步骤D的IoHandler业务处理层；所述过滤链层中包括链路层过滤器、加密过滤器、请求响应过滤器、应用层过滤器、事件过滤器、心跳过滤器、时钟同步过滤器、身份认证过滤器、上行消息队列过滤器和下行消息队列过滤器；经过滤链层所述IoHandler业务处理层将数据对象处理最终转化为业务数据进行存储。

进一步的，为更好的实现本发明所述系统，在所述串口服务器与通讯服务电路之间进行通信时采用TCP/IP通信且采用JMX监控；在采集终端与通讯服务电路之间进行通信时采用TCP/IP通信且采用JMX监控。

进一步的，为更好的实现本发明所述系统，在通讯服务电路中采用IOService通信服务。

本发明与现有技术相比，具有以下优点及有益效果：

（1）本发明在不需要增加硬件设施的条件下，采用技术手段自动或手动补采，做到数据的完整性。

（2）本发明基于国家电网公司整理规划要求和一系列标准规范，所有的采集标准和规范均统一规范，便于适应各种采集需求。

（3）本发明设有一套可配置、完整的并经过有效验证的数据检查指标，能保证数据完整性的前提下确保数据的准确性和有效性。

（4）本发明在保证功能齐全完善的前提下降低投入成本；并且具有比较稳定、效率更高的优点。

（5）本发明数据采集实现采用无阻塞流通道技术实现自动或人工补召方式保证数据的完整性和有效性。

（6）本发明数据检查采用可配置检查指标方式实现数据检查的可配置、可调节，并设计出一套完整的数据检查指标方案。

附图说明

图1为本发明所述方法流程图。

图2为本发明所述系统及数据采集过程图。

图3为本发明所述JMX监控的通讯监控图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

J2EE，是一套全然不同于传统应用开发的技术架构，包含许多组件，主要可简化且规范应用系统的开发与部署，进而提高可移植性、安全与再用价值。

AMI，高级量测体系 (advanced metering infrastructure , AMI)是一个用来测量、收集、储存、分析、运用和传送用户用电数据、电价信息和系统运行状况的完整的网络和系统,能够有效地支持需求响应。

MDMS，量测数据管理系统。是一个带有分析工具的数据库，通过与AMI自动数据手机系统（ADCS）的配合使用，可处理和储存电表的计量值得，是AMI体系中的一个重要组成部分。

JMX，JMX是一种应用编程接口，可扩充对象和方法的集合体，可以用于跨越一系列不同的异构操作系统平台、系统体系结构和网络传输协议，灵活的开发无缝集成的系统、网络和服务管理应用它提供了用户界面指导、Java类和开发集成系统、网络及网络管理应用的规范。

实施例1：

首先将系统内设备打开，完成开启步骤，然后完成基于AMI与J2EE的智能用电数据管理方法，如图1所示，包括以下步骤：

步骤A、采集任务分配：根据不同业务需求，按照待采集数据的配置条件要求，进行分配采集任务；

步骤B、采集任务执行：经步骤A，根据编制好的采集任务，按照要求自动下发采集指令到采集终端或量测设备，获取采集终端或量测设备的各类数据；

步骤C、数据检查：对步骤B采集回来的数据进行包括业务规则检查、数据完整性检查、数据质量检查等一系列以针对数据结果正确与否进行的检查；

步骤D、数据存储：将采集终端或量测设备采集回来的数据根据业务需要划分为一类实时数据、二类历史数据、三类事件数据，分别建立对应的消息队列，将数据存储到缓存区达到设定量后进行批量存储。

当步骤D完成后将结束数据采集，完成结束步骤。

实施例2：

本实施例是在上述实施例的基础上进一步优化，首先将系统内设备打开，完成开启步骤，完成下述步骤：

步骤A、采集任务分配：根据不同业务需求，按照待采集数据的配置条件要求，进行分配采集任务，包括下述步骤：

 步骤A.1、数据采集：智能用电数据管理系统对Q/GDW 376.1-2009协议、MODBUS等采集终端常规协议的兼容开发与特性开发，根据不同的业务需要，通过智能电表、集中器、采集器采集能耗设备数据，通过传感器采集环境温度数据、辐射、风速、压力等数据；

步骤A.2、数据过滤：将从主要由传感器组成的量测设备和主要由智能电表、集中器、采集器组成的采集终端得到的响应报文通过智能用电数据管理系统各种内置的过滤器进行数据匹配与过滤，最终转换成智能用电数据管理系统能够识别的数据和信息。

步骤B、采集任务执行：经步骤A，根据编制好的采集任务，按照要求自动下发采集指令到采集终端或量测设备，获取采集终端或量测设备的各类数据，数据采集整体设计基于统一规范要求和标准，对各种采集需求做到完美兼容，包括下述步骤：

步骤B.1、收集市面上各种主流采集终端或量测设备的通信协议；

步骤B.2、针对这些协议分析通信规则，找共性，开发兼容通信包；

步骤B.3、针对主流采集设备的个性通信规则，进行最小差异化开发；

步骤B.4、打包成一个大共性，小异性的兼容性通信API；

步骤B.5、搭建测试环境，对主流采集设备进行测试

步骤B.6、根据测试结果修改程序；

步骤B.7、完成采集任务执行过程。

步骤C：数据检查：对步骤B采集回来的数据进行包括业务规则检查、数据完整性检查、数据质量检查等一系列以针对数据结果正确与否进行的检查，数据采集实现采用无阻塞流通道技术实现自动或人工补召方式保证数据的完整性和有效性，数据检查采用可配置检查指标方式实现数据检查的可配置、可调节，并设计出一套完整的数据检查指标方案，所述步骤C包含如下步骤：

步骤C.1、数据采集过程：针对管理界面接收到的采集任务信息，按其具体配置条件对采集任务进行分组分时执行，按照配置条件匹配目标采集终端的通信协议对应在智能用电数据管理协议解析中的API，通过智能用电数据管理数据处理层对API的采集指令进行数据转换，自动按照采集任务下发采集设备能够识别的加密的采集指令到采集终端，智能用电数据管理数据处理层对采集终端反馈的加密的数据进行算法解密，并将采集回来的数据转换为智能用电数据管理系统能够识别和存储的格式。

步骤C.2、数据质量检查：提供有效的数据检查指标，对采集的数据的合理性、有效性进行检查；

步骤C.3、检查结果：通过智能用电数据管理系统按照业务规格设置的数据验证指标对数据进行验证，来实现数据的完整性和正确性；

步骤C.4、经步骤C.3，如果所采集数据为合格数据或采集数据成功则将执行步骤D；如若所采集数据为不合格数据或采集数据不成功则将进行数据补采的选择，当选择补采，执行步骤C.1，当选择不补采，执行步骤D。

步骤D：数据存储：将采集终端或量测设备采集回来的数据根据业务需要划分为一类实时数据、二类历史数据、三类事件数据，分别建立对应的消息队列，将数据存储到缓存区达到设定量后进行批量存储。

实施例3：

本实施例是在上述实施例的基础上进一步优化，进一步的，为更好的实现本发明所述方法，步骤C.3还包括以下步骤：

步骤C3.1、采集质量检查：对采集任务的执行质量进行检查，统计数据采集成功率、采集的完整率；

步骤C3.2、实时召采：数据检查完成后发现存在问题进行的差异化采集通讯。实时召采，根据接收到的实时数据采集要求，通过远程技术手段，自动下发采集指令，实时召采终端或量测设备的数据。本发明实时采集用电单位中的各种信息，主要包括照度、温度、湿度、烟雾、压力、流量、用电量、设备状态等信息，进行实时展示、智能控制及异常事件监控和报警。

实施例4：

基于AMI与J2EE的智能用电数据管理系统，如图2所示，包括传感器、串口服务器、通讯服务电路、采集终端，所述传感器通过串口服务器同通讯服务电路连接，所述通讯服务电路连接采集终端，所述采集终端包括智能电表、集中器和采集器；在所述通讯服务电路设置有将传感器、智能电表、集中器、采集器等所得终端或量测设备的响应报文进行数据匹配与过滤的过滤链层；在所述通讯服务电路设置有用于完成步骤B、步骤C、步骤D的IoHandler业务处理层；所述过滤链层中包括链路层过滤器、加密过滤器、请求响应过滤器、应用层过滤器、事件过滤器、心跳过滤器、时钟同步过滤器、身份认证过滤器、上行消息队列过滤器和下行消息队列过滤器；经过滤链层所述IoHandler业务处理层将数据对象处理最终转化为业务数据进行存储。

数据采集以集中器、采集器、智能电表、传感器、串口服务器等硬件设施为基础，通过tcp/ip协议和IOService通信服务，并经过过滤链层所设置的链路层过滤器、加密过滤器、请求响应过滤器、事件过滤器等对数据进行采集过滤，继续通过数据处理层设置的对象处理（I类、II类、参数、事件、modbus数据）、数据质量检查、采补、数据批量库存来最终转化为业务数据进行存储。

利用作为量测设备的传感器内所设置的诸如照度传感器、温度传感器、湿度传感器、烟雾传感器、压力传感器，将一应传感器可采集的数据进行采集；并利用智能电表、采集器和集中器所构成的采集终端对流量、用电量、设备状态等信息进行采集，传输到通讯服务电路内，在其内部所设置的过滤链层上的链路层过滤器、加密过滤器、请求响应过滤器、应用层过滤器、事件过滤器、心跳过滤器、时钟同步过滤器、身份认证过滤器、上行消息队列过滤器和下行消息队列过滤器进行相应的过滤，过滤出过滤链层所设定的不一样的数据并清除，经过滤后的数据，继续通过数据处理层设置的对象处理（I类、II类、参数、事件、modbus数据）、数据质量检查、采补、数据批量库存来最终转化为业务数据进行存储。

本发明主要用于用电设备的运行展示和智能监控，对于用电设备的实时运行情况、微环境的实时参数进行联动展示和智能控制，当用电设备无人值守时对可能发生的各种异常事件进行预测，对已发生的各种故障进行记录并自动通知相关责任人。

本发明能够一方面将人们从日常的繁重劳动中解放出来，另一方面能够提高设备使用效率，对智能减排、增效降污的中国来说显得尤为重要。

实施例5：

本实施例是在上述实施例的基础上进一步优化，进一步的，为更好的实现本发明所述系统，在所述串口服务器与通讯服务电路之间进行通信时采用TCP/IP通信且采用JMX监控；在采集终端与通讯服务电路之间进行通信时采用TCP/IP通信且采用JMX监控。

系统通过JMX监控实时的显示受控资源的状态信息，当受控资源的状态出现异常的时候，该监控系统通过发送电子邮件或发送短消息方式报警。

如图3所示，系统使用JMX代理层所设的JXM监控收集受控资源状态信息。JMI代理层和受控资源运行在同一台机器上。通过JMX分布式服务层组件把代理层收集到的受控资源状态信息发送到监控系统的监控应用客户端管理程序。监控应用客户端管理程序接收监控应用代理端发送过来的受控资源状态信息，并对信息作进一步处理。

进一步的，为更好的实现本发明所述系统，在通讯服务电路中采用IOService通信服务。

数据展现方面实现多种展现方式，不但对基础数据进行查询展示，并通过数据挖掘、数据分析实现了多种参数（人员密度、空气湿度、环境温度、原始数据、特殊状况等）情况下进行电能数据的各种预测。

本发明满足信息系统权限管理所需，将企业身份数据进行统一管理，所有的受控资源对象或资源抽象对象进行集中管理，有效提高管理效率、降低生产及管理成本。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。