基于动力车间大数据的海量数据采集系统

摘要

本申请公开了一种基于动力车间大数据的海量数据采集系统，实现对多种工业设备实时能源消耗参数的大规模采集，可以为工业4.0提供坚实的数据基础；本发明对多种工业设备的实时能源消耗参数进行处理和分析，实现对多种工业设备实时运行耗能参数的大规模海量采集，并在数据存储前对数据进行统一化处理，并对处理后的数据采用分布式的存储方式，最终保证数据的完整性和可靠性，便于后续统一调用。

说明书

技术领域

本发明涉及对车间各类设备的动能数据处理技术领域，具体涉及一种基于动力车间大数据的海量数据采集系统。

背景技术

目前，以数控机床、工业机器人为主的工业设备已经成为我国工业生产和加工的主流工作设施，其运行的能耗直接影响工业产出的成本。目前，单台工业设备单独控制能耗。在所有动力车间大数据收集方面薄弱，导致不能协调工业生产和加工过程中的所有动力车间能源供应，导致动力车间的设备不需要能源时也持续供应能源，严重造成资源浪费，增加了生产成本。

因此，动力车间设备会产生海量的动能数据，为了降低生产成本及提高生产质量，需要对这些动能数据进行采集、处理和分析。而在大数据技术的飞速增长过程中会有如下问题：（1）由于数据量的庞大以及需要对接多方位的系统数据，并不能很好的对这些数据进行采集；（2）大量的数据在传输过程中也会由于信道质量等多样性、复杂性、各种不确定的因素引入不满足质量要求的噪声数据，如异常、错误、重复以及缺失数据等，使得后续数据的分析环节的结果数据准确性降低。

针对上述问题，亟需建立一个基于动力车间大数据的海量数据采集系统，在数据存储前对数据进行统一化处理，并对处理后的数据采用分布式的存储方式，最终保证数据的完整性和可靠性。

发明内容

本申请实施例提供一种基于动力车间大数据的海量数据采集系统，实现对多种工业设备实时运行耗能参数的大规模海量采集，并在数据存储前对数据进行统一化处理，并对处理后的数据采用分布式的存储方式，最终保证数据的完整性和可靠性，解决了大量的数据在传输过程中也会由于信道质量等多样性、复杂性、各种不确定的因素引入不满足质量要求的噪声数据等技术问题。

本申请实施例提供一种基于动力车间大数据的海量数据采集系统，包括：至少一数据采集端，每一数据采集端对应至少一工业设备，用于采集至少一实时能源消耗参数；至少一数据处理器，每一数据处理器对应至少一所述数据采集端，用于接收所述实时能源消耗参数并对其转换为统一的数据格式；以及至少一数据存储端，每一数据存储端对应至少一所述数据处理器，用于接收并储存统一数据格式的实时能源消耗参数。

进一步地，所述数据采集端包括：数据采集模块，连接至一工业设备的数控单元，用于采集至少一工业设备的至少一实时能源消耗参数；以及终端数据传输模块，连接至所述数据采集模块，用于传送所述实时能源消耗参数至一数据处理器；

进一步地，所述数据处理器包括：一数据处理器数据传输模块，通过以太网连接至所述终端数据传输模块，用于从所述数据采集端至少一次获取至少一实时实时能源消耗参数；以及一数据处理及分析模块，连接至所述数据处理器数据传输模块，用于根据每次获取的所述实时能源消耗参数转换为统一的数据格式。

进一步地，所述数据存储端包括：一数据存储模块，连接至所述数据处理器数据传输模块，用于接收并储存统一数据格式的实时能源消耗参数。

进一步地，所述数据存储端还包括：数据判断模块，连接至所述数据处理器数据传输模块，用于判断数据是否需要存储。

进一步地，所述数据判断模块判断数据是否需要存储的判断依据是所述实时能源消耗参数数据是否需要先进行处理后再存储在所述数据存储模块中。

进一步地，所述工业设备包括但不限于工业机器人、数控机床及加工中心。

进一步地，所述实时能源消耗参数为所述工业设备在正常运行中实时监测的能源消耗参数。

进一步地，所述数据处理及分析模块根据每次获取的所述实时能源消耗参数转换为统一的数据格式的步骤包括：

通过Kafka分布式消息队列进行数据缓存，将部署Storm的实时大数据计算平台作为Kafka的数据消费端，采用Kafka与Storm的集成KafkaSpout作为消息队列和大数据平台衔接的数据源，并以数据载体的形式传递至下一级Bolt进行分析处理；

当数据源Kafkaspout接收到运行数据后，首先通过数据拆分Bolt，获取不同运行数据在不同采集通道上的数据；

数据清洗处理，从采集的所述实时能源消耗参数中删除具有空值、离群值和明显错误信息的数据；以及

数据格式化处理，将所述实时能源消耗参数转换为统一的数据格式。

进一步地，所述数据清洗处理的具体方式为：首先检查数据是否合格，如果合格，继续进行后续数据处理，如果数据不合格，则执行数据清理和过滤操作，从采集的所述实时能源消耗参数中删除具有空值、离群值和明显错误信息的数据。

进一步地，所述数据格式化包括数据标定和删除冗余值，具体方式为：对数据进行校准和格式化，将模拟值转换为真实值，同时删除传感器和采集系统存储的数据中的冗余信息，如数据标题、标头和其它字段。

本发明的优点在于：提供一种基于动力车间大数据的海量数据采集系统，实现对多种工业设备实时能源消耗参数的大规模采集，可以为工业4.0提供坚实的数据基础；本发明对多种工业设备的实时能源消耗参数进行处理和分析，实现对多种工业设备实时运行耗能参数的大规模海量采集，并在数据存储前对数据进行统一化处理，并对处理后的数据采用分布式的存储方式，最终保证数据的完整性和可靠性，便于后续统一调用。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。

图1为本发明实施例中基于动力车间大数据的海量数据采集系统的整体结构框图；

图2为本发明实施例中基于动力车间大数据的海量数据采集系统的局部结构示意图；

图3为本发明实施例中所述数据处理及分析模块根据每次获取的所述实时能源消耗参数转换为统一的数据格式的步骤的流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本申请提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

如图1所示，本申请实施例提供一种基于动力车间大数据的海量数据采集系统，包括：至少一工业设备1，优选为自动化工业设备，包括但不限于工业机器人、数控机床及加工中心；至少一数据采集端2，每一数据采集端2对应至少一工业设备1，用于采集至少一实时能源消耗参数；至少一数据处理器3，每一数据处理器3对应至少一所述数据采集端2，用于接收所述实时能源消耗参数并对其转换为统一的数据格式；以及至少一数据存储端4，每一数据存储端4对应至少一所述数据处理器3，用于接收并储存统一数据格式的实时能源消耗参数。

如图2所示，本实施例中，所述数据采集端2包括：数据采集模块21，连接至一工业设备1的数控单元，用于采集至少一工业设备1的至少一实时能源消耗参数；以及终端数据传输模块22，连接至所述数据采集模块21，用于传送所述实时能源消耗参数至一数据处理器3。

如图2所示，本实施例中，所述数据处理器3包括：一数据处理器数据传输模块31，通过以太网（Internet外网）连接至所述终端数据传输模块22，用于从所述数据采集端2至少一次获取至少一实时实时能源消耗参数；以及一数据处理及分析模块32，连接至所述数据处理器数据传输模块31，用于根据每次获取的所述实时能源消耗参数转换为统一的数据格式。所述数据采集端2与所述数据处理器3可以通过相应的数据传输模块进行数据交换，进而使所述数据采集端2与所述数据处理器3可以进行实时通信，通信过程基于HTTP、TCP、UDP通信协议。

如图2所示，本实施例中，所述数据存储端4包括：一数据存储模块41，连接至所述数据处理器数据传输模块31，用于接收并储存统一数据格式的实时能源消耗参数。

如图2所示，本实施例中，所述数据存储端4还包括：数据判断模块42，连接至所述数据处理器数据传输模块31，用于判断数据是否需要存储。

本实施例中，所述数据判断模块42判断数据是否需要存储的判断依据是所述实时能源消耗参数数据是否需要先进行处理后再存储在所述数据存储模块41中。

本实施例中，所述实时能源消耗参数为所述工业设备1在正常运行中实时监测的能源消耗参数。

如图3所示，本实施例中，所述数据处理及分析模块32根据每次获取的所述实时能源消耗参数转换为统一的数据格式的步骤包括：

S1、通过Kafka分布式消息队列进行数据缓存，将部署Storm的实时大数据计算平台作为Kafka的数据消费端，采用Kafka与Storm的集成KafkaSpout作为消息队列和大数据平台衔接的数据源，并以数据载体的形式传递至下一级Bolt进行分析处理；

S2、数据拆分步骤，当数据源Kafkaspout接收到运行数据后，首先通过数据拆分Bolt，获取不同运行数据在不同采集通道上的数据；

S3、数据清洗处理，从采集的所述实时能源消耗参数中删除具有空值、离群值和明显错误信息的数据；以及

S4、数据格式化处理，将所述实时能源消耗参数转换为统一的数据格式。

本实施例中，所述数据清洗处理的具体方式为：首先检查数据是否合格，如果合格，继续进行后续数据处理，如果数据不合格，则执行数据清理和过滤操作，从采集的所述实时能源消耗参数中删除具有空值、离群值和明显错误信息的数据。

本实施例中，所述数据格式化包括数据标定和删除冗余值，具体方式为：对数据进行校准和格式化，将模拟值转换为真实值，同时删除传感器和采集系统存储的数据中的冗余信息，如数据标题、标头和其它字段。

本发明的优点在于：提供一种基于动力车间大数据的海量数据采集系统，实现对多种工业设备实时能源消耗参数的大规模采集，可以为工业4.0提供坚实的数据基础；本发明对多种工业设备的实时能源消耗参数进行处理和分析，实现对多种工业设备实时运行耗能参数的大规模海量采集，并在数据存储前对数据进行统一化处理，并对处理后的数据采用分布式的存储方式，最终保证数据的完整性和可靠性，便于后续统一调用。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上对本申请实施例所提供的一种基于动力车间大数据的海量数据采集系统进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。