一种企业安全环保及安防监控数据的数仓建设方法和系统

摘要

本发明公开了一种企业安全环保及安防监控数据的数仓建设方法和系统，包括：采集原始数据源，原始数据源包括企业的日志数据、业务办理数据、消防视频监控数据和流量排放数据；对原始数据源进行去除原始数据源中的空值和脏数据，同对原始数据源中超过极限范围的数据进行处理，形成数据明细；对数据明细进行分别汇总处理后存储，数据明细包括低时延性要求的数据和高时延性要求的数据，包括：对低时延性要求的数据进行离线批量处理，得到离线数据；对高时延性要求的数据进行实时处理，得到实时数据；响应于企业应用的业务需求，输出离线数据或实时数据。本发明解决了企业安全环保庞大数据量分类存储，根据企业业务时延性需求进行及时响应的问题。

说明书

技术领域

本发明涉及企业安全环保及安防监控数据处理技术领域，具体涉及一种企业安全环保及安防监控数据的数仓建设方法和系统。

背景技术

企业在生产制造过程中，消防安全和生产行为要求是急需关注的一个问题。安全生产是衡量企业是否达标的一个重要指标。企业的生产制造过程中安全和消防能力必须具备一定的标准。安全生产不仅保证企业在生产制造过程中的平稳进行，还保证了企业的操作人员的人身安全。避免造成人员伤亡和经济损失。对企业生产过程中温度，湿度，烟感进行监测，保证生产中不会发生火灾能消防事故。视频监控生产过程中操作人员行为，是否佩戴安全帽，生产中打电话，聚集等，减少安全事故。企业的污染排放监测是保证企业环保生产的一个要素。监测排放流量、COD、PH值，能源消耗，减少对大自然环境的污染。当前随着对工业信息化的不断要求，制造业从传统的生产模式逐步变更，呈现如下几个特点：

1、工业信息化程度越来越高，很多工作可以通过计算机来进行完成，不需要以往的人工进行操作。

2、大数据的发展，对数据的存储与处理能力有了飞跃发展，网络不断更新换代，对于实时数据流采集和传输有着巨大的影响。

3、视频监控与摄像头的发展，视频清晰度越来越高；以及随着AI摄像头的出现，利用图像识别技术对现场环境进行识别，监测生产过程中的一系列行为。

4、企业在大力推进生产制造过程中的环保与安全监测，利用信息化监测企业的污染物排放与生产现场的安全生产行为监测，及时作出报警，减少对大自然的污染、人员伤亡以及企业的经济损失。

虽然工业信息化技术不断发展，但是企业在安全环保生产监测过程中依旧存在一些问题：

1、各类消防安全数据监测是实时的，数据采集的间隔时间短，产生的数据量庞大，对于网络传输负荷大，数据的延时性较高。

2、数据如何存储显得尤为重要，传统的mysql,oracle以及时序数据库在数据查询和数据写入都有一定限制，数据存储量庞大时，会对数据查询速度造成比较大的影响，同时影响系统的相应速度，不能及时观测企业当前的生产情况。

3、数据都集中在一起，但是系统有多个业务功能，每个业务对数据的要求也不一样，需要程序先对数据进行处理，然后进行展示，系统的响应速度也会产生很大的影响。

4、随着系统运行时间变长，数据存储越来越大，数据显得异常杂乱无章，掩盖了数据中蕴含的规律和价值。对数据的挖掘和分析变得异常困难，甚至会产生错误的决策。

现有技术方案如下：

1、使用传统的关系数据库对数据比如mysql,oracle进行存储，同时通过编写存储过程对数据进行处理

2、使用时序数据库，解决时间序列数据实时性，数据产生频率快以及数据量庞大的问题。

3、不断增加服务器和网络资源，解决系统的负载能力和响应速度，保证数据的稳定有效传输。

现有技术存在以下缺点：

1、传统的关系性数据库对读取和写入数据都有一定量的限制，同时存储过程增加数据库的压力，数据量过于庞大时，处理速度会变得非常缓慢，严重影响了系统的各项业务功能。

2、实时数据库虽然相比传统关系数据，在实时数据处理能力上有比较大的提高，但是数据量庞大时依旧会对系统产生比较大的影响，同时有的实时数据库并发查询缓慢，有的实时数据库写入能力较差。

3、不断增加企业的维护成本和资源，对制造企业的经济效益来说是一个非常大的影响。而且资源并没有得到有效利用。

发明内容

本发明所要解决的技术问题是现有技术针对企业庞大的安保数据，存储不便和处理缓慢，无法及时响应企业的各项业务数据需求，目的在于提供一种企业安全环保及安防监控数据的数仓建设方法和系统，解决了企业安全环保庞大数据量分类存储，根据企业业务时延性需求进行及时响应的问题。

本发明通过下述技术方案实现：

一种企业安全环保及安防监控数据的数仓建设方法，包括以下步骤：步骤S1：采集原始数据源，所述原始数据源包括企业的日志数据、业务办理数据、消防视频监控数据和流量排放数据。步骤S2：对所述原始数据源进行去除所述原始数据源中的空值和脏数据，同对所述原始数据源中超过极限范围的数据进行处理，形成数据明细；步骤S3：对所述数据明细进行分别汇总处理后存储，所述数据明细包括低时延性要求的数据和高时延性要求的数据，包括以下子步骤：对低时延性要求的数据进行离线批量处理，得到离线数据；对高时延性要求的数据进行实时处理，得到实时数据；步骤S4：响应于企业应用的业务需求，输出所述离线数据或所述实时数据。

本发明针对企业安全环保及安防监控数据有信息化处理需求，将原始数据进行存储之前进行数据抽取和分类，针对不同数据具有不同的时延性需求的特点，将数据进行离线处理或者实时处理。本发明解决了企业安全环保庞大数据量的存储问题。建立一个数仓，解决数据查询和数据传输相应缓慢的问题。利用大数据技术对数据进行加工分析，针对不同业务对数据进行分类存储。解决数据的延时性问题，保证数据能够低延时展现，企业能及时了解污染物的排放和生产现场的安全问题。极大的提高了数据的存储与处理能力，针对企业应用层面的业务需求，能够做到快速及时的响应。

进一步的，所述实时数据通过消息队列来进行订阅和发布。

进一步的，对步骤S1至步骤S4中的所有处理过程进行数据质量治理，所述数据质量治理包括：校验数据的准确性和唯一性，去除冗余重复数据。

进一步的，校验所述步骤S2处理后的数据完整性和合理性。

进一步的，所述原始数据源与所述数据明细在数据粒度上保持一致。

进一步的，所述步骤S2中包括以下内容：所述业务办理数据通过ETL抽取处理，形成的数据明细包括企业信息、设备信息、人员信息和摄像头信息；所述日志数据通过Flume进行采集，生成的数据明细包括采集日志数据和系统日志数据；所述消防视频监控和流量排放数据通过边缘处理，形成的数据明细包括图片、视频、湿度、温度、流量和能源消耗。

本发明的另一种实现方式，一种企业安全环保及安防监控数据的数仓建设系统，包括原始数据层、数据明细层、数据存储分析层、数据应用层和数据质量治理层；所述原始数据层：用于存储原始数据源，所述所述原始数据源包括企业的日志数据、业务办理数据、消防视频监控数据和流量排放数据；所述数据明细层：用于存储数据明细，所述数据明细为经数据抽取后的原始数据源；所述数据存储分析层：用于对所述数据明细进行分别汇总处理，得到离线数据和实时数据，用于存储所述离线数据和所述实时数据；所述数据应用层：用于响应于企业的业务需求，将所述离线数据或实时数据展现出来；所述数据质量治理层：用于校验数据的准确性和唯一性，去除冗余重复数据。

进一步的，所述数据应用层包括统计分析、机器学习和实时业务。

进一步的，所述统计分析包括企业总数量、设备总数量、流量排放和传感器报警次数；所述机器学习包括行为图片、设备电流信号、人脸图片和设备振动信号；所述实时业务包括用户信息、企业信息、基础权限数据和图片识别结果。

进一步的，所述数据明细层包括：企业信息、设备信息、人员信息、摄像头信息、采集日志、系统日志、图片、温度、视频、湿度、流量和能源消耗。

本发明与现有技术相比，具有如下的优点和有益效果：

1、解决了消防安全监测、生产行为安全监控以及污染排放的数据存储问题。

2、建立了一个消防安全监测、生产行为安全监控以及污染排放数据的数据仓库，实现对数据的有效管理，数据质量得到有效改善，保证数据的唯一性，一致性，稳定性以及关联性。为挖掘分析数据提供了良好的基础。

3、对消防安全监测、生产行为安全监控、污染排放以及系统业务数据建立多个主题域，分别对应多个业务模块。保持数据的针对性，专一性；形成各类离散数据和实时数据，提高数据的查询能力以及直观性。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明数据架构图；

图2为数据明细形成过程图；

图3为数据存储分析流程图；

图4为数据在业务中的应用示意图；

图5为实施例2总体流程图；

图6为实施例2加工数据流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

本实施例1是一种企业安全环保及安防监控数据的数仓建设方法和系统，方法包括以下步骤：

1、采集原始数据源，原始数据源包括企业的日志数据、业务办理数据、消防视频监控数据和流量排放数据；

2、对原始数据源进行去除原始数据源中的空值和脏数据，同对原始数据源中超过极限范围的数据进行处理，形成数据明细；检查数据明细的完整性和合理性；数据明细与原始数据源在数据粒度上保持一致；

业务办理数据通过ETL抽取处理，形成的数据明细包括企业信息、设备信息、人员信息和摄像头信息；日志数据通过Flume进行采集，生成的数据明细包括采集日志数据和系统日志数据；消防视频监控和流量排放数据通过边缘处理，形成的数据明细包括图片、视频、湿度、温度、流量和能源消耗。

3、对数据明细进行分别汇总处理后存储，数据明细包括低时延性要求的数据和高时延性要求的数据，包括：对低时延性要求的数据进行离线批量处理，得到离线数据；对高时延性要求的数据进行实时处理，得到实时数据；

4、响应于企业应用的业务需求，输出离线数据或实时数据；实时数据通过消息队列来进行订阅和发布。

本实施例1针对企业安全环保及安防监控数据有信息化处理需求，将原始数据进行存储之前进行数据抽取和分类，针对不同数据具有不同的时延性需求的特点，将数据进行离线处理或者实时处理。本实施例1解决了企业安全环保庞大数据量的存储问题。建立一个数仓，解决数据查询和数据传输相应缓慢的问题。利用大数据技术对数据进行加工分析，针对不同业务对数据进行分类存储。解决数据的延时性问题，保证数据能够低延时展现，企业能及时了解污染物的排放和生产现场的安全问题。极大的提高了数据的存储与处理能力，针对企业应用层面的业务需求，能够做到快速及时的响应。

本实施例在所有处理过程中均需要进行数据质量治理，数据质量治理包括：校验数据的准确性和唯一性，去除冗余重复数据等。

本实施例1的系统，包括原始数据层、数据明细层、数据存储分析层、数据应用层和数据质量治理层；原始数据层：用于存储原始数据源，原始数据源包括企业的日志数据、业务办理数据、消防视频监控数据和流量排放数据；数据明细层：用于存储数据明细，数据明细为经数据抽取后的原始数据源；数据存储分析层：用于对数据明细进行分别汇总处理，得到离线数据和实时数据，用于存储离线数据和实时数据；数据应用层：用于响应于企业的业务需求，将离线数据或实时数据展现出来；数据质量治理层：用于校验数据的准确性和唯一性，去除冗余重复数据。数据应用层包括统计分析、机器学习和实时业务。统计分析包括企业总数量、设备总数量、流量排放和传感器报警次数；机器学习包括行为图片、设备电流信号、人脸图片和设备振动信号；实时业务包括用户信息、企业信息、基础权限数据和图片识别结果。数据明细层包括：企业信息、设备信息、人员信息、摄像头信息、采集日志、系统日志、图片、温度、视频、湿度、流量和能源消耗。

实施例2

本实施例2是一种企业安全环保和安防监控数据的数据仓库建设方法，其核心功能主要分为原始数据层、数据明细层、数据存储与分析层、数据应用以及数据质量治理，前面四部分如图1所示。

原始数据层存放原始的数据，直接加载原始的日志，业务数据，视频数据，污染物数据，保持数据原貌，不作任何的处理。

数据明细层数据的结构和粒度保持与原始数据层的一致。但是会经过数据采集系统将各个数据源的数据存放在一个数据源中，同时对原始数据源做去除空值和脏数据，超过极限范围的数据进行处理；校验数据的完整性与合理性。数据明细层中包含了系统的日志数据，系统业务办理数据，消防视频监控数据，环保数据。如图2数据明细的形成过程：

企业的业务办理数据通过ETL抽取处理以后形成企业信息，设备信息，人员信息，摄像头信息等数据。日志数据通Flume进行采集，生成采集日志数据和系统日志数据。消防视频监控和流量排放数据通过边缘处理以后形成图片、视频、湿度、温度、流量、能源消耗等数据。

数据存储与分析，如图3所示，数据存储分析流程是数据明细经过数据处理，计算汇总形成加工数据并进行存储或者分析。数据汇总计算分为两种方式；离线批量计算和实时计算。明细数据经过离线批量计算被加工成轻度汇总数据或者高度汇总数据，形成离线数据汇总数据集。对于延时性要求比较高的数据，可以通过实时流计算方式，数据通过消息队列来进行订阅和发布，经过实时计算形成汇总数据提供给数据应用层。

离线批量计算就是对于数据的延时性要求不高，比如机器学习业务，要使用历史数据对模型进行训练，这个训练过程是离线进行的。明细数据经过汇总计算或者处理以后形成一个粗粒度数据集，这些数据集包含了结构化数据，非结构化数据，半结构化数据混合。汇总数据的主要作用就是提供给业务进行查询操作，只需要关注数据的查询效率，所以数据一般会存储在查询效率较高的数据库中。

实时数据计算对于数据的延时性要求较高，同时在工业环境下，数据的采集频率高，数据量大。需要高速写入，快速查询，稳定而且极强的数据压缩能力。由于传感器采集的流量排放数据都带有时间戳，且都是按照时间顺序生成的，明细数据经过计算平台处理以后，存储到时序数据库中。

数据应用层是数据直接和业务应用交互的最后一个层级。如图4所示表示了数据应用层的详细情况。

数据被分成三个主题域，统计分析、机器学习、实时业务。统计分析主要为各类统计报表提供数据支撑，是一个比较高度汇总的数据。例如企业的设备数量统计报表，流量排放总量统计，传感器报警数量统计，企业视频数量变化报表等。

机器学习主题域主要为各个人工智能模型提供训练数据基础。包括行为图片数据(包含了抽烟，未带安全帽，打电话，聚集，打架)，人脸图片，设备电流信号数据，设备振动信号数据等。这几类数据，将会为人脸识别模型、设备状态监控以及设备健康诊断等4大模型提供训练数据集。

实时数据主题域主要为各个实时业务查询以及办理提供数据依据。比如处理识别结果，用户注册，用户权限变更，视频监控结果处理等。

数据质量治理贯穿整个数仓。校验数据的准确性，避免人为原因导致数据出错。校验数据的唯一性，去除冗余数据，重复数据。校验数据的一致性，例如：命名不一致、数据结构不一致、约束规则不一致。数据实体不一致，例如：数据编码不一致、命名及含义不一致、分类层次不一致、生命周期不一致。校验数据的关联性，例如：函数关系、相关系数、主外键关系、索引关系等，避免因为数据关系的缺失影响数据分析的结果。

本实施例2解决了消防安全监测、生产行为安全监控以及污染排放的数据存储问题解决了对工业生产上消防安全监测，生产行为监控以及污染排放庞大的数据量存储问题。建立了一个消防安全监测、生产行为安全监控以及污染排放数据的数据仓库实现对数据的有效管理，数据质量得到有效改善，保证数据的唯一性，一致性，稳定性以及关联性。为挖掘分析数据提供了良好的基础。对消防安全监测、生产行为安全监控、污染排放以及系统业务数据建立多个主题域，分别对应多个业务模块。保持数据的针对性，专一性；形成各类轻度汇总和高度汇总数据，提高数据的查询能力以及直观性。

本实施例2的总体流程如图5所示：将各个数据源数据(业务数据、视频监控数据、日志数据、环保数据)通过数据抽取，把明细数据抽取到数据明细库(ODS)中。明细数据经过数据加工，数据加工主要分成两类；第一类是历史数据的计算，比如(企业总数量、人员总数量、视频类别数量、图片数量、污染物总排放、总能源消耗等等)，历史明细数据经过大数据平台的离线计算，将加工完成数据保存到数据库中；第二类是实时化的数据，比如(实时资源消耗、业务办理、视频监控等等)，使用大数据将平台的实时计算，将加工完汇总数据进行保存。应用模块向离线数据汇集模块个实时数据模块发送数据请求，离线数据模块根据应用模块的数据请求内容，将加工完成的数据发送给应用模块，应用模块对获取到的加工数据进行可视化展示；应用模块和实时数据模块之间则是通过消息的订阅和发布，应用模块向实时数据模块发送需要订阅的有关消息请求，实时数据模块根据订阅内容，将加工数据以消息方式发布给应用模块，应用模块根据消息内容进行相关业务处理。

加工数据流程如图6所示：数据加工流程分为两类，历史明细数据经过Spark批处理，对数据以多个任务的方式进行汇总计算，如果某个任务失败则返回失败原因并继续执行下一个任务，形成离线汇总数据保存到数据库。实时数据经过Flink流式处理，对实时数据流进行加工计算，实时流通过kafka消息系统来完成数据的存储以及消费。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。