一种定义策略减少数据存储量的系统及方法

摘要

本发明提供的一种定义策略减少数据存储量的系统包括设备接入模块、预定义模块、核心模块和设备存储数据操作模块。在数据存储过程中进行数据条件的筛选和触发存储事件的有效性判定，有效地降低了数据的存储量，并且及时保存了敏感的数据，对数据的操作比较简单，系统开销也明显降低，同时增加了操作数据的准确性，提高了监控系统的响应速度。

说明书

技术领域

本发明涉及动环监控技术领域，尤其涉及动环监控系统数据存储的一种定义策略减少数据存储量的系统及方法。

背景技术

动环监控是一种实时性高、数据量大的现场监控系统，其系统软件主要采用实时通讯的方式与监控设备进行数据交互，由此将存储大量的本地数据。本地存储这些数据不仅需要很大的存储空间，而且需要更多的人力和精力进行日常维护。虽然当前存储器的价格相对低廉，存储成本不高，然而在大量的存储数据里面找到运营管理决策支持的合理数据，则需要付出高昂的数据挖掘代价以及花费漫长的数据分析时间。为了降低数据维护的成本，目前，监控行业各种不同的管理系统都尝试采用数据过滤的方法和策略来降低本地数据存储，尽可能的避免大量数据带来的管理困扰，然而本地数据存储量下降的同时，运营决策支持的数据报表也随之无法真实反映现场设备状况，往往实施并不理想。

此外，关系型数据库管理系统作为当前本地数据存储的主流选择，但其部署成本并不低廉，往往一套大型的企业级数据库管理系统的代价，相对于较小和分散的计算机机房来说是无法承受的，因此，用户大多青睐存储管理容量较小，部署方便的免费数据库管理系统。

由此，如何定义一种合理有效的存储策略，在保证数据能够真实有效反映现场设备状态的同时，降低本地数据存储量，而不影响正常的运营管理决策支持，是机房监控领域的研究方向之一。

发明内容

本发明的目的是提供一种定义策略减少数据存储量的系统及方法，旨在有效降低本地数据存储的同时，而不影响运营管理决策支持需要对监控数据的操作，特别是敏感的数据，从而保证系统运行的稳定可靠。

为达到上述目的，本发明采用以下技术方案：

一种定义策略减少数据存储量的系统，其特征在于，包括：

设备接入模块，用于获取监控设备数据和监控设备信息；

预定义模块，用于预置数据筛选策略和数据存储策略；

核心模块，用于调用预定义模块中的数据筛选策略和数据存储策略，对监控设备数据进行筛选，触发数据存储事件的有效性判定，决定数据是否需要被存储；

设备存储数据操作模块，用于对设备交互数据进行本地存储和逆向还原读取操作。

所述核心模块包括：

数据筛选条件库，由预定义模块中预置的数据筛选策略生成，核心模块按照监控设备信息中提供的数据筛选条件，从数据筛选条件库中组合选择监控设备的筛选条件对监控设备数据进行存储筛选；

数据存储事件库，由预定义模块中预置的数据存储策略生成，当监控设备数据筛选失败时触发一个存储事件，核心模块通过扫描数据存储事件库判断该存储事件是否存在以及是否合理，合理且存在的存储事件将执行数据本地存储，不合理或不存在的存储事件被核心模块丢弃。

一种定义策略减少数据存储量的方法，其特征在于，包括以下步骤：

(1)系统初始化；

(2)获取监控设备数据；

(3)根据系统初始化时确定的设备筛选条件对监控设备数据进行筛选，当数据筛选失败时触发一个存储事件；

(4)核心模块扫描数据存储事件库，判断该存储事件是否合理以及是否存在于数据存储事件库中，不合理或不存在的存储事件将被核心模块丢弃，系统跳回至步骤(3)继续数据筛选；

(5)数据存储：根据预置的数据存储策略实现对监控设备数据的存储。

所述步骤(1)进一步包括：

预定义：描述并存储数据筛选策略和数据存储策略；

生成预置文件：生成数据筛选条件库、数据存储事件库和逆向数据还原方法；

生成筛选条件：获取监控设备信息，根据监控设备信息中提供的数据筛选条件，从数据筛选条件库中组合选择设备筛选条件。

所述步骤(3)还包括在进行数据筛选前判断数据是否需要进行筛选，若数据设定为不需要筛选，则直接进入步骤(5)对数据进行存储。

数据存储完成后，需要进行数据读取操作时，扫描预定义模块生成的逆向数据还原方法，按照预定储存策略的逆向策略，生成操作结果。

采用本发明的方法的监控系统，有效地降低了数据的存储量，并且及时有效保存了敏感的数据，对数据的操作比较简单，系统开销也明显降低，同时增加了操作数据的准确性，提高了监控系统的响应速度。

附图说明

图1是本发明定义策略减少数据存储量的系统的结构和处理流程示意图。

具体实施方式

为了使本发明的目的、技术方案更加清楚，以下结合附图对本发明进行进一步的详细说明。

本发明提供的一种定义策略减少数据存储量的系统如图1所示，该系统包括设备接入模块、预定义模块、核心模块和设备存储数据操作模块。设备接入模块能够获取监控设备数据和监控设备信息。预定义模块中预置数据筛选策略和数据存储策略。核心模块调用预定义模块的数据筛选策略和数据存储策略生成数据筛选条件库和数据存储事件库。此外，预定义模块中的数据存储策略还能够生成逆向数据还原方法，供设备存储数据操作模块调用。核心模块还支持调用设备接入模块获取监控设备信息，并根据监控设备信息中提供的数据筛选条件，从数据筛选条件库中组合选择设备筛选条件。至此，完成了系统基础模块的初始化和运行准备。

监控系统开始获取监控设备数据后，将首先判断数据是否需要进行筛选，若数据设定为不需要筛选，则直接对数据进行存储，若需要筛选，则根据前述生成的设备筛选条件对数据进行筛选。本实施例中，假设过滤成功的数据为不需要记录的数据，过滤失败的数据为需要记录的数据。则当出现过滤失败的数据时，触发一个存储事件。存储事件触发后，核心模块对数据存储事件库进行扫描匹配，判断该存储事件是否存在且合理，合理且存在的存储事件被判定为触发成功，根据预置的数据存储策略执行数据存储；不合理或不存在的存储事件被判定为触发失败，存储事件将被丢弃，系统继续进行后续的监控设备数据的筛选。

譬如，设备返回数据＝用户自定义数据正常值+数据波动值。其中，用户自定义数据正常值是用户所关心的该设备正常运转的数据，数据波动值为用户认可的正常波动数据，在该范围内可以认定设备运转正常。数据波动的范围可以定义在数据筛选策略中。由此，通过对数据筛选条件库的选择，生成相应的设备筛选条件：数据波动范围超限时对数据进行记录。因此，当出现数据波动超限的监控设备数据时，将会触发一个存储事件。

再假设数据存储事件库中定义有如下存储事件：在某一时间段内对数据进行存储。此时，根据该存储事件的触发时间，对数据存储事件库进行扫描。如果该存储事件的触发时间在所定义的时间段内，则该存储事件触发成功，数据将按预置的数据存储策略进行存储；如果触发时间不在所定义的时间段内，则该存储事件触发不成功，存储事件将被丢弃。

当需要对存储于本地的数据进行读取和操作时，设备存储数据模块从预定义模块中的数据存储策略获取逆向数据还原方法，将存储的数据进行逆向数据还原生成可读取和操作的用户数据。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。