基于电力大数据的煤炭行业企业生产情况分析系统

摘要

本发明公开了基于电力大数据的煤炭行业企业生产情况分析系统，包括：数据采集模块，用于采集煤矿电力数据和相关监管部分监控信息；数据处理模块，用于对采集到的数据进行清洗、筛选和规范化标准化处理；数据分析模块，用于对处理后的数据基于数据分析模型进行数据分析，获得分析结果；反馈管理模块，用于根据分析结果对企业生产情况进行反馈性管理。首先本申请煤矿监管监察部门建立数据共享机制，结合政府层面当前已采集的煤矿基础信息、生产产量数据、安全监控、人员定位等数据，提升分析准确性。另外，本申请的数据分析模型对大批量数据的动态处理和智能化管理的精准度可靠性较高。

说明书

技术领域

本发明涉及企业生产管理技术领域，具体涉及基于电力大数据的煤炭行业企业生产情况分析系统。

背景技术

通过建立煤矿安全生产经营、管理信息采集子系统，自动采集与安全相关的数据，进行分析，为监管监察提供企业大数据支撑的要求，煤矿安全生产数据的时效采集、有效分析、高效应用已成为监管监察的重要信息支撑；其中煤矿电力数据与煤矿生产、停产、复产动态及产能消耗等关联密切，为此，通过煤矿电力数据的采集处理和分析研究，实现对在产、关停企业的生产情况进行分析，进而对企业生产行为精准监管监察，可有效防范各类生产安全事故的发生。

而现有的基于电力大数据的煤炭行业企业生产情况分析系统并不完善，其存在采集数据与生产状态的关联性较弱，监管精准度较低的问题。

发明内容

本发明提供基于电力大数据的煤炭行业企业生产情况分析系统，以解决现有技术中存在的上述问题。

本发明提供基于电力大数据的煤炭行业企业生产情况分析系统，包括：

数据采集模块，用于采集煤矿电力数据和相关监管部分监控信息；

数据处理模块，用于对采集到的数据进行清洗、筛选和规范化标准化处理；

数据分析模块，用于对处理后的数据基于数据分析模型进行数据分析，获得分析结果；

反馈管理模块，用于根据分析结果对企业生产情况进行反馈性管理。

优选的，所述数据处理模块包括：

数据提取单元，用于提取有用的数据；

数据校验单元，用于对提取的有用的数据进行数据校验；

数据验证单元，用于对提取的有用数据进行完整性验证；

数据关系构建单元，用于将有相关联的数据建立数据关系，针对数据内容部分建立适应企业端实际业务系统的数据关系，保证企业端数据使用统一的API推送至监管端。

优选的，所述数据提取单元包括：

缺失值清洗子单元，用于确定缺失值范围，对每个字段都计算其缺失值比例，按照缺失比例和字段重要性，制定策略；去除不需要的字段，使用小规模数据进行试验，防止错误删除字段导致数据丢失；填充缺失内容，根据消防业务和知识推测填充缺失值，以同一指标的计算结果填充缺失值，以不同指标的计算结果填充缺失值；重新取数，若某些指标的重要性超过设定值，且缺失率大于设定的缺失率阈值，从其他渠道获取到相关数据；

格式内容清洗子单元，用于对不符合设定条件的格式进行格式修改，格式修改采用半自动校验半人工方式找出存在的问题，并去除不需要的字符；

逻辑错误清洗子单元，用于按主键去重，去除不合理值以及删除和煤矿监管业务无关的数据。

优选的，所述数据分析模型包括：

采用智能化方法对煤矿电力消耗数据进行分类评估计算，从总耗电中剥离评估出煤矿采掘作业平均耗电量、其他生产保障系统作业平均用电量和生活平均耗电量；其中采掘作业耗电量包括：煤矿采煤、掘进作业电耗两部分，其他生产保障系统作业平均用电量包括：煤矿运输、提升、排水、瓦斯抽采等作业用电，生活区平均耗电量为煤矿停产情况下维持正常运行所需耗电量，包括：通风、排水、工业广场生活用电。

优选的，还包括：数据交换模块；

数据交换模块用于整合企业端生产经营和安全管理的数据，从所有与之关联的子系统中提取共享数据，并对多来源渠道的、相互不一致的数据进行数据融合处理；

基于数据字典对实时数据和历史数据进行组织，以保证数据间关系的正确性、可理解性并避免数据冗余；以多种形式提供数据服务，采用分层次的方法对各类用户设置权限，使不同用户既能获得各自所需要的数据，又能确保数据传输过程的安全性及共享数据的互操作性和互用性；维护基础信息、动态业务数据以及系统管理配置参数。

优选的，所述数据交换模块还包括数据的分布式动态处理单元，用于对数据进行分布式动态处理；

所述数据的分布式动态处理单元包括：

分析子单元，用于分析并预测用户流数据处理程序数据中至少一个数据特征块的执行模式；

调整子单元，用于基于流数据的平均排队时延的大小以及排队时延的阈值来动态调整所述执行模式；

特征块对应子单元，用于基于所述执行模式处理对应的至少一个所述数据特征块；

优选的，所述分析子单元包括：

操作链整合子单元，用于将用户的至少一步操作整合成完整的操作链，以确定用户的操作逻辑；

切分子单元，用于根据用户所调用的API函数以及初步的操作链结构将所述完整的操作链切分成至少一个数据特征块；

判断子单元，用于判断所述数据特征块的逻辑特征并根据所述逻辑特征选择执行模式，生成特征块ID-执行模式列表；

执行子单元，用于基于所述特征块ID-执行模式列表将数据特征块映射到相应的执行模式以执行数据特征块对应的部分程序。

优选的，所述反馈管理模块包括：基于分析结果数据、企业历史电力监测数据、同区域煤矿电力监测数据、人员定位监测数据、水害监测数据，利用对比分析、同比分析方法动态捕捉企业耗电异常情况，利用聚类分析从区域煤矿从空间维度和企业相似维度对煤矿进行分组，并横向对比煤矿耗电数据，对煤矿是否存在超能力生产行为进行预测和评估。

优选的，还包括数据传输模块，用于对数据进行传输；

所述数据传输模块包括：

数据变换单元，用于针对所述待传输的数据信息进行Aont映射变换，生成第一变换数据；

多个数据块单元，用于针对所述第一变换数据进行拆分，生成多个数据块；

加密单元，用于将所述多个数据块中的部分数据块进行加密，生成加密数据块；

传输链路确定单元，用于根据选择多条通信链路中最安全的一条通信链路传输所述加密数据块至接收端，其余通信链路传输未加密的数据块至接收端；

数据组合单元，用于所述接收端接收加密数据块和未加密的数据块，并对加密数据块进行解密后与未加密的数据块进行自适应重新组合得到原始待传输的数据信息。

优选的，所述加密单元包括：

密钥子单元，用于针对所述数据块中的数据生成工作密钥；

加密数据块生成子单元，用于随机选取多个数据块中的部分数据块，并利用工作密钥进行加密，生成加密数据块。

所述传输链路确定单元包括：

链路信息子单元，用于采集多链路中每个通信链路的链路信息，其中，链路信息包括信道利用率及通信链路协商速率；

计算链路质量子单元，用于根据采集的每个通信链路的链路信息，计算每个通信链路的链路质量，以确定最安全的一条通信链路；

传输子单元，用于利用最安全的一条通信链路将加密数据块传输至接收端，其余通信链路传输未加密的数据块至接收端。

与现有技术相比，本发明具有以下优点：

本发明提供基于电力大数据的煤炭行业企业生产情况分析系统，包括：数据采集模块，用于采集煤矿电力数据和相关监管部分监控信息；数据处理模块，用于对采集到的数据进行清洗、筛选和规范化标准化处理；数据分析模块，用于对处理后的数据基于数据分析模型进行数据分析，获得分析结果；反馈管理模块，用于根据分析结果对企业生产情况进行反馈性管理。首先本申请煤矿监管监察部门建立数据共享机制，结合政府层面当前已采集的煤矿基础信息、生产产量数据、安全监控、人员定位等数据，提升分析准确性。另外，本申请的数据分析模型对大批量数据的动态处理和智能化管理的精准度可靠性较高。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中基于电力大数据的煤炭行业企业生产情况分析系统的结构示意图；

图2为本发明实施例中基于电力大数据的煤炭行业企业生产情况分析系统的架构示意图；

图3为本发明实施例中数据处理模块的结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例提供了基于电力大数据的煤炭行业企业生产情况分析系统，请参照图1，该系统包括：

数据采集模块，用于采集煤矿电力数据和相关监管部分监控信息；

数据处理模块，用于对采集到的数据进行清洗、筛选和规范化标准化处理；

数据分析模块，用于对处理后的数据基于数据分析模型进行数据分析，获得分析结果；

反馈管理模块，用于根据分析结果对企业生产情况进行反馈性管理。

上述技术方案的工作原理为：本实施例采用的方案是设置数据采集模块，用于采集煤矿电力数据和相关监管部分监控信息；同时利用数据处理模块对采集到的数据进行清洗、筛选和规范化标准化处理；以及采用数据分析模块对处理后的数据基于数据分析模型进行数据分析，获得分析结果；最后，基于反馈管理模块根据分析结果对企业生产情况进行反馈性管理。

基于电力大数据的煤炭行业企业生产情况分析系统的架构如图2所示，包括：

IaaS层：基于采购服务器搭建基础设施。

数据存储层：从南方电网数据中心数据库以及政府煤矿监管监察部门已建信息化系统数据库中抽取煤矿生产电力、煤矿基础信息、人员定位、安全监控、水文监测等数据相关主题数据集，为建设电力大数据风险分析模型提供数据基础。主要包括：煤矿基础信息数据、电力数据、安全管理系统数据、GIS空间地理信息数据、行政监管执法数据、监测联网系统数据等。

数据计算层：基于大数据实时计算和离线计算技术，搭建指标计算平台和大数据模型分析平台，实现煤炭行业企业生产情况分析模型的指标计算和模型分析任务。

数据模型层：基于煤矿生产电力消耗业务需求梳理和建设指标分析模型，包括煤矿企业电力消耗分类预估计算模型、煤矿企业超能力、超强度违规生产监测预警模型、煤矿企业疑是停产偷采违法行为监测预警模型、煤矿企业非计划停电报警模型、煤矿企业复工复产监测分析模型、关键数据采集点异常监测预警模型、煤矿企业违规行为研判算法持续调优模型、基于空间GIS的煤矿企业区域电耗异常分级预警模型八项计算模型。

数据服务层：将底层数据访问、数据计算和数据分析展现能力对业务应用层进行开放。

业务应用层：基于电力大数据建设煤炭行业企业生产情况分析系统。包括数据质量监控平台、电力大数据可视化平台、电力数据集成管理、煤矿企业违规生产行为分析报告、违规生产研判模型管理平台、消息管理平台等。

统一系统架构和标准规范体系：本系统的设计和建设符合国家有关信息化系统架构要求，搭建统一的系统集成架构；根据有关标准规范，制定数据采集和集成标准规范，用于指导对煤矿电力数据的采集接入，和对现有监测联网感知数据、监察执法、煤矿基础信息等风险分析基础数据的集成。

统一安全认证和维护体系：本系统的设计和建设遵循国家煤矿监管监察信息化系统安全认证体系和运行维护体系要求，并对待建基于电力大数据建设煤炭行业企业生产情况分析系统提供统一的认证接口。

上述技术方案的有益效果为：采用本实施例提供的方案包括：数据采集模块，用于采集煤矿电力数据和相关监管部分监控信息；数据处理模块，用于对采集到的数据进行清洗、筛选和规范化标准化处理；数据分析模块，用于对处理后的数据基于数据分析模型进行数据分析，获得分析结果；反馈管理模块，用于根据分析结果对企业生产情况进行反馈性管理。首先本申请煤矿监管监察部门建立数据共享机制，结合政府层面当前已采集的煤矿基础信息、生产产量数据、安全监控、人员定位等数据，提升分析准确性。另外，本申请的数据分析模型对大批量数据的动态处理和智能化管理的精准度可靠性较高。

在另一实施例中，请参照图3，所述数据处理模块包括：

数据提取单元，用于提取有用的数据；

数据校验单元，用于对提取的有用的数据进行数据校验；

数据验证单元，用于对提取的有用数据进行完整性验证；

数据关系构建单元，用于将有相关联的数据建立数据关系，针对数据内容部分建立适应企业端实际业务系统的数据关系，保证企业端数据使用统一的API推送至监管端。

上述技术方案的工作原理为：本实施例采用的方案是所述数据处理模块包括：数据提取单元，用于提取有用的数据；数据校验单元，用于对提取的有用的数据进行数据校验；数据验证单元，用于对提取的有用数据进行完整性验证；数据关系构建单元，用于将有相关联的数据建立数据关系，针对数据内容部分建立适应企业端实际业务系统的数据关系，保证企业端数据使用统一的API推送至监管端。

上述技术方案的有益效果为：采用本实施例提供的方案数据采集的协议格式包含消息头部(Header)、数据采集项编码(Code)、数据内容(Data)三部分组成；其中Data部分需要适应企业端实际业务系统的数据关系，保证企业端数据使用统一的API推送至监管端。数据传输方式应采用主流的数据通信方式将数据推送或抽取到数据采集程序，采集程序通过数据交换服务平台(DESP)进行数据传输。上传各业务数据时，同时应上传能标识当前数据的唯一性ID，同一条数据有变化的，第二次上传的应保证与上一次上传该数据的ID一致，实际上传的数据以第二次数据为准。数据传输协议使用MQTT作为主要的消息协议体，支持一定的消息容错、处理高并发的能力。数据传输格式应采用业内通用的数据传输格式，推荐采用JSON数据格式为数据传输格式。

在另一实施例中，所述数据提取单元包括：

缺失值清洗子单元，用于确定缺失值范围，对每个字段都计算其缺失值比例，按照缺失比例和字段重要性，制定策略；去除不需要的字段，使用小规模数据进行试验，防止错误删除字段导致数据丢失；填充缺失内容，根据消防业务和知识推测填充缺失值，以同一指标的计算结果填充缺失值，以不同指标的计算结果填充缺失值；重新取数，若某些指标的重要性超过设定值，且缺失率大于设定的缺失率阈值，从其他渠道获取到相关数据；

格式内容清洗子单元，用于对不符合设定条件的格式进行格式修改，格式修改采用半自动校验半人工方式找出存在的问题，并去除不需要的字符；

逻辑错误清洗子单元，用于按主键去重，去除不合理值以及删除和煤矿监管业务无关的数据。

在另一实施例中，所述数据分析模型包括：

采用智能化方法对煤矿电力消耗数据进行分类评估计算，从总耗电中剥离评估出煤矿采掘作业平均耗电量、其他生产保障系统作业平均用电量和生活平均耗电量；其中采掘作业耗电量包括：煤矿采煤、掘进作业电耗两部分，其他生产保障系统作业平均用电量包括：煤矿运输、提升、排水、瓦斯抽采等作业用电，生活区平均耗电量为煤矿停产情况下维持正常运行所需耗电量，包括：通风、排水、工业广场生活用电。

上述技术方案的工作原理为：本实施例采用的方案是利用采集的煤矿行业企业电力监测数据、基础数据、人员定位数据、安全监测数据、水文监测数据、重大设备监测数据、空间地理信息数据，利用大数据、云计算、人工智能技术动态定位煤矿超能力、超强度、停产偷采等违法违规行为，精准研判煤矿复工复产动态，为政府监管监察提供有效的异常预警数据及解释，辅助监管监察部门针对性开展执法工作。基于采集的数据和现有应用成熟的分类算法、聚类算法、预测算法以及关联分析算法等数据挖掘和机器学习技术手段，构建煤矿企业生产情况分析的数据分析模型。

上述技术方案的有益效果为：采用本实施例提供的方案煤矿采掘作业平均耗电量评估计算：可通过人员上下井数据的变化、工作面人员数量变化、矿井用电量数据的实时变化联合确定煤矿采掘工作面作业个数、作业时间等，经大量数据的聚类分析和关联分析，并循环修正计算结果，确定正常波动区间和评估均值。生活基础耗电量评估计算：取一年中长时间处于最低电量且波动平稳视为煤矿停产、休产用电量，其中停产针对停产煤矿企业，休产针对正常生产煤矿企业。他生产保障系统作业用电量评估计算：利用煤矿总耗电量减去生活基础耗电量即为生产保障系统作业用电量。

在另一实施例中，还包括：数据交换模块；

数据交换模块用于整合企业端生产经营和安全管理的数据，从所有与之关联的子系统中提取共享数据，并对多来源渠道的、相互不一致的数据进行数据融合处理；

基于数据字典对实时数据和历史数据进行组织，以保证数据间关系的正确性、可理解性并避免数据冗余；以多种形式提供数据服务，采用分层次的方法对各类用户设置权限，使不同用户既能获得各自所需要的数据，又能确保数据传输过程的安全性及共享数据的互操作性和互用性；维护基础信息、动态业务数据以及系统管理配置参数。

上述技术方案的工作原理为：本实施例采用的方案数据交换模块是多节点间信息传输的中转服务对接平台，实现数据采集、审核、上报数据的实时交换，主要用于采集煤矿企业电力数据和接入政府监管监察部门已采集的煤矿信息数据。

数据交换模块包括：数据采集端部分、数据传输部分和数据解析与数据存储部分。

数据采集端部分，数据采集的主要功能是从其它子系统中提取有用的数据、并完成数据的校验、数据的完整性验证、有相关联的数据在此建立数据关系。数据采集是数据交换的第一道关卡，对数据的校验及清洗起相当重要的作用。数据采集可提供多种数据的接入方式，并兼容SQL Service、MySql等主流的关系性数据库。结合异构系统的特殊性，采集端还可提供主动(推)、被动(拉)的方式。主动(推)是指其他子系统主动将数据按照一定协议规范将数据主动上报到采集端。被动(拉)是指采集端通过一些途径直接抽取其他子系统中相关数据到采集端。此外，数据采集端还具备一定的数据容错性和应对高并发的数据处理能力。并对数据进行一系列的初始化操作为下一步数据传输作充分准备。

数据传输部分，数据传输的主要功能是保证数据从采集端到数据中心端完成数据传输的功能。为确保数据能够按需到达数据中心，数据传输过程中应有对采集端进行身份识别与验证，并有一定的连接补偿措施，如通信信道的路由建立、通信建立连接状态校验，数据连接的心跳等机制。并对数据的协议进行充分验证，能够识别数据的来源及目的地，并能确保数据能准确发送至目的地。为了保证数据的正确传输和传输性能，必须有传输管理功能，包括了传输协议管理和控制。

数据解析与数据存储部分，数据解析与数据存储部分主要功能是接收通过数据传输的数据进行协议解析，数据格式化并将该数据写入对应的目标仓库中。当前部分应尽量还原数据的原貌，确保数据被完整地复原最初地状态。解析过程中不仅仅包含对数据协议地解析，还包括数据状态地还原，并对当前数据交换过程中进行的数据加密的解密。接下来需要对该数据进行数据仓库的写入操作，确保数据存储至指定的位置。

在另一实施例中，所述数据交换模块还包括数据的分布式动态处理单元，用于对数据进行分布式动态处理；

所述数据的分布式动态处理单元包括：

分析子单元，用于分析并预测用户流数据处理程序数据中至少一个数据特征块的执行模式；

调整子单元，用于基于流数据的平均排队时延的大小以及排队时延的阈值来动态调整所述执行模式；

特征块对应子单元，用于基于所述执行模式处理对应的至少一个所述数据特征块；

上述技术方案的有益效果为：采用本实施例提供的方案将不相关的流水线模式和微批模式关联并进行动态转换，实现了流数据计算的吞吐量高和延迟低的良好效果

在另一实施例中，所述分析子单元包括：

操作链整合子单元，用于将用户的至少一步操作整合成完整的操作链，以确定用户的操作逻辑；

切分子单元，用于根据用户所调用的API函数以及初步的操作链结构将所述完整的操作链切分成至少一个数据特征块；

判断子单元，用于判断所述数据特征块的逻辑特征并根据所述逻辑特征选择执行模式，生成特征块ID-执行模式列表；

执行子单元，用于基于所述特征块ID-执行模式列表将数据特征块映射到相应的执行模式以执行数据特征块对应的部分程序。

上述技术方案的有益效果为：采用本实施例提供的方案将划分的数据特征块以映射的方式选择执行模式是准确度高且速度快的一种优选的方式，能够避免流水线模式和微批模式的混乱，也能够避免数据特征块和执行模式在传输过程中的错误关联，降低了流数据计算处理的失误概率。

在另一实施例中，所述反馈管理模块包括：基于分析结果数据、企业历史电力监测数据、同区域煤矿电力监测数据、人员定位监测数据、水害监测数据，利用对比分析、同比分析方法动态捕捉企业耗电异常情况，利用聚类分析从区域煤矿从空间维度和企业相似维度对煤矿进行分组，并横向对比煤矿耗电数据，对煤矿是否存在超能力生产行为进行预测和评估。

在另一实施例中，还包括数据传输模块，用于对数据进行传输；

所述数据传输模块包括：

数据变换单元，用于针对所述待传输的数据信息进行Aont映射变换，生成第一变换数据；

多个数据块单元，用于针对所述第一变换数据进行拆分，生成多个数据块；

加密单元，用于将所述多个数据块中的部分数据块进行加密，生成加密数据块；

传输链路确定单元，用于根据选择多条通信链路中最安全的一条通信链路传输所述加密数据块至接收端，其余通信链路传输未加密的数据块至接收端；

数据组合单元，用于所述接收端接收加密数据块和未加密的数据块，并对加密数据块进行解密后与未加密的数据块进行自适应重新组合得到原始待传输的数据信息。

上述技术方案的有益效果为：采用本实施例提供的方案使用Aont变换方式对数据进行安全传输，不仅提高了数据传输的效率，也提高了数据传输的安全性，多模通信技术，使数据同时在不止一条通信链路上并行传输，从而提升带宽的利用率，通信双方每次通信时都会进行身份验证，进行身份验证的同时协商一个随机数出来指示Aont变换的起点，这样保证了Aont变换方式的多可能性，使数据安全性得到初步的提升；利用链路的多样性，选择一条最安全的链路来传输经过Aont变换后加密的部分数据即可使数据安全性得到进一步的提升。

在另一实施例中，所述加密单元包括：

密钥子单元，用于针对所述数据块中的数据生成工作密钥；

加密数据块生成子单元，用于随机选取多个数据块中的部分数据块，并利用工作密钥进行加密，生成加密数据块。

所述传输链路确定单元包括：

链路信息子单元，用于采集多链路中每个通信链路的链路信息，其中，链路信息包括信道利用率及通信链路协商速率；

计算链路质量子单元，用于根据采集的每个通信链路的链路信息，计算每个通信链路的链路质量，以确定最安全的一条通信链路；

传输子单元，用于利用最安全的一条通信链路将加密数据块传输至接收端，其余通信链路传输未加密的数据块至接收端。

根据采集的每个通信链路的链路信息，根据以下计算每个通信链路的链路质量，以确定最安全的一条通信链路：

M＝s×(100％-η)

其中，M代表通信链路质量，s代表通信链路协商速率，η代表信道利用率；利用最安全的一条通信链路将加密数据块传输至接收端，其余通信链路传输未加密的数据块至接收端；最后，所述接收端接收加密数据块和未加密的数据块，并对加密数据块进行解密后与未加密的数据块进行自适应重新组合得到原始待传输的数据信息。

上述技术方案的有益效果为：采用本实施例提供的方案将对加密后数据块进行解密，从而保证提取数据的完整性。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。