一种网关调整数据采集策略的方法、装置及电子设备

摘要

本说明书一个或多个实施例提供一种网关调整数据采集策略的方法、装置及电子设备，所述方法包括响应于确定所述第一数量的变化超过或低于预设阈值，根据预设的调整规则调整所述初始采集频率参数和/或所述初始采集数量参数。本发明实施例通过预先建立的线性模型，能够在预定时间段内监测网关根据初始采集频率参数和初始采集数量参数采集到的业务数据的第一数量变化，再根据预设的调整规则调整所述初始采集频率参数和/或所述初始采集数量参数以调整采集策略，能够根据具体的业务需求调整具体采集策略来获得符合要求的数据，省去了数据筛选处理的时间，大大提高了数据采集的效率。

说明书

技术领域

本说明书一个或多个实施例涉及技术领域，尤其涉及一种网关调整数据采集策略的方法、装置及电子设备。

背景技术

网关设备通过供应商侧的信息管理系统以及生产现场的生产设备、数据采集器、试验检测装置、摄像头等来获取并采集所需要的数据。现有技术中，网关设备对于数据均采用广泛采集，获得大量的数据后再根据实际需求，滤除不需要的冗余数据。

发明人发现，现有技术中的网关设备无法根据具体的业务需求调整相应的采集策略来获得符合要求的数据，获取到的大量的数据需要长时间的筛选处理，增加了不必要的工作时间，大大降低了数据采集的效率。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种网关调整数据采集策略的方法、装置及电子设备，以解决现有技术中网关数据效率低下的问题。

基于上述目的，本说明书一个或多个实施例提供了一种网关调整数据采集策略的方法，包括：

通过预先建立的线性模型，在预定时间段内监测网关根据初始采集频率参数和初始采集数量参数采集到的业务数据的第一数量变化；

响应于确定所述第一数量的变化超过或低于预设阈值，根据预设的调整规则调整所述初始采集频率参数和/或所述初始采集数量参数。

作为一种可选的实施方式，所述网关为EIP系统的智慧互联网关。

具体的，所述智慧互联网关被部署在供应商侧的内网环境中，并通过供应商侧的网络交换机与数据采集平台交互。

进一步的，所述智慧互联网关在采集所述业务数据的过程中采取用户数据报协议(UDP)。

作为一种可选的实施方式，所述网关调整数据采集策略的方法还包括：

根据业务特征以及所采集的业务数据的数据项的特征，通过预先建立的保真算法模型确定采集到的业务数据是否已被篡改。

与所述网关调整数据采集策略的方法相对应的，本发明实施例还提供了一种网关调整数据采集策略的装置，包括：

监测模组，用于通过预先建立的线性模型，在预定时间段内监测网关根据初始采集频率参数和初始采集数量参数采集到的业务数据的第一数量变化；

参数调整模组，用于响应于确定所述第一数量的变化超过或低于预设阈值，根据预设的调整规则调整所述初始采集频率参数和/或所述初始采集数量参数。

作为一种可选的实施方式，所述装置还包括：

保真模组，用于根据业务特征以及所采集的业务数据的数据项的特征，通过预先建立的保真算法模型确定采集到的业务数据是否已被篡改。

与上述方法相对应的，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的方法。

从上面所述可以看出，本说明书一个或多个实施例提供的一种网关调整数据采集策略的方法、装置及电子设备，通过预先建立的线性模型，能够在预定时间段内监测网关根据初始采集频率参数和初始采集数量参数采集到的业务数据的第一数量变化，再根据预设的调整规则调整所述初始采集频率参数和/或所述初始采集数量参数以调整采集策略，能够根据具体的业务需求调整具体采集策略来获得符合要求的数据，省去了数据筛选处理的时间，大大提高了数据采集的效率。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例网关调整数据采集策略的方法示意图；

图2为本说明书一个或多个实施例网关调整数据采集策略的装置示意图；

图3为本说明书一个或多个实施例电子设备的示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照图1-3，对本公开进一步详细说明。

为了实现上述发明目的，本发明实施例提供了一种网关调整数据采集策略的方法，包括：

通过预先建立的线性模型，在预定时间段内监测网关根据初始采集频率参数和初始采集数量参数采集到的业务数据的第一数量变化；

响应于确定所述第一数量的变化超过或低于预设阈值，根据预设的调整规则调整所述初始采集频率参数和/或所述初始采集数量参数。

本发明实施例中，通过预先建立的线性模型，能够在预定时间段内监测网关根据初始采集频率参数和初始采集数量参数采集到的业务数据的第一数量变化，再根据预设的调整规则调整所述初始采集频率参数和/或所述初始采集数量参数以调整采集策略，能够根据具体的业务需求调整具体采集策略来获得符合要求的数据，省去了数据筛选处理的时间，大大提高了数据采集的效率。

请参考图1，本发明实施例提供了一种网关调整数据采集策略的方法，包括：

S100、通过预先建立的线性模型，在预定时间段内监测网关根据初始采集频率参数和初始采集数量参数采集到的业务数据的第一数量变化。

所述网关与数据供应商进行通信验证，物联客户端认证使用MQTT协议，全部消息报文使用JSON格式。物联客户端认证时，使用安装时提前分配的证书，一机一密。物联客户端使用MQTT进行认证时使用TCP长连接到云端，在MQTT connect包时，需要将did和mac16进制编码后填入到用户名和密码字段。

在采集数据前，需要配置网关接口的具体数据项，包括：数据项名称、数据类型、数据长度、备注等。

建立线性模型，监控网关抓取数据时所返回的第一数量变化，如果短期内连续超过或低于设置的极限阈值，则进行相应的调整。

作为一种可选的实施方式，所述网关为EIP系统的智慧互联网关。

具体的，所述智慧互联网关被部署在供应商侧的内网环境中，并通过供应商侧的网络交换机与数据采集平台交互。

进一步的，所述智慧互联网关在采集所述业务数据的过程中采取用户数据报协议(UDP)。

S200、响应于确定所述第一数量的变化超过或低于预设阈值，根据预设的调整规则调整所述初始采集频率参数和/或所述初始采集数量参数。

作为一种可选的实施方式，所述调整规则包括采集频率调整规则和采集数量调整规则，当触发调整规则时，根据当前的采集频率，适度增加或减少频率，以适应待抓取的数据量的变化。

比如抓取烘干温度数据，包括温度数值本身、计量单位，以及本条数据所关联的一系列业务订单标识信息。设置为每60秒采集一次数据，每次采集200条数据。如果一段时间内，每次只采集回来100条数据，说明没这么多数据需要采集，这样调整机制会自动降低采集频率，比如从每60秒采集一次变成每120采集一次；这样的采集频率变化会达到一个阈值，比如如果已经到了每10分钟采集一次，就不会再变化了；接下来就可以通过降低每次采集的数据条数来继续应对“无数可采”的现状了，比如从每次要求采集200条，变成每次只要求100条数据。

作为一种可选的实施方式，所述网关调整数据采集策略的方法还包括：

根据业务特征以及所采集的业务数据的数据项的特征，通过预先建立的保真算法模型确定采集到的业务数据是否已被篡改。

数据是在特定环境中产生并流转的，不能脱离环境因素而单独讨论如何进行数据保真，这里需要探讨这些环境因素，因为它们有助于确定数据保真的问题，并最终明确如何解决这些问题。

在传输协议层面，智慧物联网关在抓取数据的过程中，采取更加安全的UDP传输协议，可有效避免采取TCP传输协议时，TCP序列号猜测攻击的风险，从而进一步提升数据抓取过程中的数据的安全性。与此同时，供应商侧内网环境的相对稳定和高效，则有效规避了UDP传输协议可靠性不足的缺陷。

智慧物联网关提供一套基于模型算法的数据保真策略，可依据各品类生产特性和业务信息特点，以及需采集数据项的特点，应用保真算法模型，识别相关数据在抓取采集的过程中是否被篡改，保障抓取到的数据真实可靠。

选定采集数据项后，由运维人员通过交互界面，配置数据取样模型，描述数据取样的频率和途径(配置主要就是取样的频率和取样的数量，例如频率是30分钟、取样数量是1000条，那么模型启动之后，就会每30分钟计算并更新一次新的本数据项正常取值范围，并且是取最近30分钟内的最多1000条数据用来计算。此外，还允许配置一个“允许误差范围”数值，是一个百分比的数值，代表在通过标准方差计算之后得到的正常值域范围外，还可以容忍的超过值域的取值范围。数据取样的“途径”其实就是指本模型所针对的是哪个数据项而已)。这里的取样数据用于标准方差的计算和更新。

运维人员配置计算数据项基准方差方法，特别需要指定方差允许的波动范围。本过程中，网关提供标准的方差算法(目前只提供一种标准方差算法，也就是“均方差”)以供选择。

配置成功后，可开启针对本数据项的数据保真应用服务，并可在后期手动停止本应用服务。

应用服务开启后，网关一方面按照配置的频率和要求进行数据取样及标准方差的计算，并更新本数据项的标准值域范围；(例如频率是30分钟、取样数量是1000条，那么每到了30分钟时，本模型所针对的数据项的标准值域作废，重新根据最新的30分钟内的1000条数据进行计算。计算完成后，发现这些数据的中数是5，波动范围是2，所以值域就是3到7之间，如果“允许误差范围”是50％，则最终用于比较运算的值域就是2到8之间。)另一方面当网关抓取数据的过程中涉及到相关数据项信息后，将之与对应的标准值域进行对比，判断是否超出波动范围。

如果超出值域范围，则将异常结果数据推送到运维组进行处理，同时跟踪处理结果。对处理结果的分析，是后续持续升级、优化保真模型算法的重要依据和支撑。

需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

基于上面所述网关调整数据采集策略的方法，本发明还提供了一种网关调整数据采集策略的装置，如图2所示，包括：

监测模组10，用于通过预先建立的线性模型，在预定时间段内监测网关根据初始采集频率参数和初始采集数量参数采集到的业务数据的第一数量变化；

参数调整模组20，用于响应于确定所述第一数量的变化超过或低于预设阈值，根据预设的调整规则调整所述初始采集频率参数和/或所述初始采集数量参数。

本发明实施例中，通过预先建立的线性模型，能够在预定时间段内监测网关根据初始采集频率参数和初始采集数量参数采集到的业务数据的第一数量变化，再根据预设的调整规则调整所述初始采集频率参数和/或所述初始采集数量参数以调整采集策略，能够根据具体的业务需求调整具体采集策略来获得符合要求的数据，省去了数据筛选处理的时间，大大提高了数据采集的效率。

作为一种可选的实施方式，所述装置还包括：

保真模组，用于根据业务特征以及所采集的业务数据的数据项的特征，通过预先建立的保真算法模型确定采集到的业务数据是否已被篡改。

需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

图3示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。

本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。