一种预警系统的运维流程管理性能优化方法

摘要

本发明公开了一种预警系统的运维流程管理性能优化方法，可以实现从数据交互和应用响应两个方面，软件、硬件和网络三个层次，对信息安全运行监测预警系统进行了全面的性能优化设计，针对数据交互的优化，主要从高性能技术应用、数据库优化、结构性能优化、数据泛化、采用多线程技术、数据压缩传输、数据缓存、数据访问优化及多层次性能保证优化几个方面做出优化，以实现大数据量交互时能及时响应用户操作，并满足系统的性能要求，在应用响应方面，从UI的响应优化、编程语言的选择、代码性能设计、减少不必要的请求、压缩界面元素几方面考虑优化，确保了系统的高性能。

说明书

技术领域

本发明涉及信息安全技术领域，更具体地说，涉及一种预警系统的运维流程管理性能优化方法。

背景技术

信息作为一种资源,它的普遍性、共享性、增值性、可处理性和多效用性,使其对于人类具有特别重要的意义。信息安全的实质就是要保护信息系统或信息网络中的信息资源免受各种类型的威胁、干扰和破坏,即保证信息的安全性。根据国际标准化组织的定义,信息安全性的含义主要是指信息的完整性、可用性、保密性和可靠性。信息安全是任何国家、政府、部门、行业都必须十分重视的问题,是一个不容忽视的国家安全战略。

为保障信息安全，许多机构会选择建立信息安全运行监测预警系统。与工业控制的监控应用不同，信息安全运行监测预警系统涉及的数据具有更加复杂的结构和关系，多样化的采集频率，不同的数据压缩损耗率，还要涉及非数值信息的存储，为了确保信息安全运行监测预警系统的高性能，需要进行系统性能优化，因此，我们提出一种预警系统的运维流程管理性能优化方法。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种预警系统的运维流程管理性能优化方法，它可以实现从数据交互和应用响应两个方面，软件、硬件和网络三个层次，对信息安全运行监测预警系统进行了全面的性能优化设计，针对数据交互的优化，主要从高性能技术应用、数据库优化、结构性能优化、数据泛化、采用多线程技术、数据压缩传输、数据缓存、数据访问优化及多层次性能保证优化几个方面做出优化，以实现大数据量交互时能及时响应用户操作，并满足系统的性能要求，在应用响应方面，从UI的响应优化、编程语言的选择、代码性能设计、减少不必要的请求、压缩界面元素几方面考虑优化，确保了系统的高性能。

为解决上述问题，本发明采用如下的技术方案。

一种预警系统的运维流程管理性能优化方法，包括数据交互优化策略和应用优化策略，所述数据优化策略包括以下步骤：

S1、高性能技术应用：应用实时数据过滤链架构，采用分布式数据中心，实现对来自不同采集器监控数据的分布式处理；

S2、数据库优化：从物理优化和逻辑优化两个方面对数据库进行优化，数据库性能最关键的因素在于IO，因为操作内存是快速的，但是读写磁盘是速度很慢的，优化数据库最关键的问题在于减少磁盘的IO，因此应该分为物理的和逻辑的优化，物理的是指oracle产品本身的一些优化，逻辑优化是指应用程序级别的优化；

S3、结构性能优化：将生产数据与历史数据分离，并进行分布式部署；

S4、数据泛化：对挖掘的数据进行统一的规格化，以符合数据库的数据存储要求，并提高数据读取速度，数据库中的数据和对象通常包含原始概念层的细节信息，将数据库中跟任务相关的大型数据集，从相对较低的概念层抽象到较高的概念层，各接口将监控业务数据发送到IT集中运行平台，通过数据解析和泛化以统一的格式存储在IT集中运行监控系统数据库；

S5、采用多线程技术：以用户界面线程为主线程，主线程给出系统的集中展示窗口，拥有自己的消息循环，也就是系统的主体部分，并以数据接收线程、数据分析线程为辅线程，数据接收线程负责监控数据，数据分析线程负责集成、分析接收的数据，并进行图例的绘制，多线程技术是为了使系统能够并行地处理多项工作任务而采用的技术，以便提高系统运行效率，每个线程就是系统中的一个处理过程，完成一项工作任务，多线程应用能够充分利用设备硬件资源，高效率的完成计算工作；

S6、数据压缩传输：在将数据传输给信息安全运行监测预警系统之前，先对数据进行压缩，可减少网络的数据传输量，从而以更快的速度响应到信息安全运行监测预警系统进行解压；

S7、数据缓存：在数据层和应用层之间增加数据缓存层，提供全局数据服务，可大大减少数据库往返次数，从而充分利用服务器的大内存，提高数据提取效率和并发数访问效率；

S8、数据访问优化：对所有的数据访问采用统一的API封装，即建立一个数据访问接口层，接口层中定义了应用程序所需要的所有数据操作方法，应用程序访问数据时均需通过此接口层进行，从而确保数据操作的独立性、安全性和可靠性；

S9、多层次性能保证优化：从软件、硬件和网络三个层次上进行性能保证优化。

进一步的，所述应用优化策略包括以下步骤：

A、UI的响应优化：进行UI的响应优化，将其分成即时响应、过渡效果和位移三个方面，综合应用即时响应、过渡效果、位移手段进行响应优化，保证良好的系统操作,其中，即时响应：即点即看，当请求失败时再进行信息反馈；过渡过程：操作信息安全运行监测预警系统的界面切换、数据向下挖掘查看等操作时，提供一个过渡过程或转场的效果，如：延时移动、淡入淡出、滑动、缩放、翻转等；移位：在不弹层、弹窗情况下的内容移位，合理的运用界面内容的展开、收起；

B、编程语言的选择：从系统的可移植性及灵活性方面进行考虑，采用移植性较好的编程语言，比如Java、Python等；

C、代码性能设计：采用分页，减少传输的数据量，界面设计采用数据异步加载、数据初始化、启动加速方式提高界面响应速度；

D、减少不必要的请求：减少不必要的文件复用，如css文件，并优化缓存，对于没有变化的网页元素，用户再次访问的时候没有必要重新下载，直接从浏览器缓存读取可有效减少http请求数；

E、压缩界面元素：每个元素越小，下载时间就越小，对集中显示的元素进行合适的压缩，以保证能够正常、快速的显示，如：图片的实际尺寸是2800*1024，大小是771KB，可将显示的尺寸大小压缩为320*240。

进一步的，所述步骤S1中的高性能技术应用还包括：通过分布式的独立功能单元形成单向连接过滤链，对实时监控的整个过程及形成的数据流进行处理，同时，应用双队列采集技术，实现数据采集和数据发送的分离与高效执行。

进一步的，所述步骤S2中物理优化可采用以下措施：优化Oracle的运行环境，如网络、硬件等；使用合适的优化器；合理配置Oracle实例参数；建立合适的索引，可减少IO；将索引数据和表数据分开在不同的表空间上，可降低IO冲突；建立表分区，将数据分别存储在不同的分区上，从而以空间换取时间，减少IO；扩展集群的实体服务器数量，对集群进行扩展。

进一步的，所述步骤S2中的逻辑优化可采用以下措施：对表进行逻辑分割，数据存储进行按时间的裁剪汇总，及时统计裁剪历史数据，减少存储占用空间，提高查询性能；SQL语句使用占位符语句，并且开发时按照规定编写SQL语句，如全部大写，全部小写等；耗时的操作，在用户较少的情况下执行，错开系统使用的高峰时间，提高数据库性能；选择有效的表名；使用Exits Not Exits替代In Not in；合理使用事务，合理设置事务隔离性，对比较消耗数据库资源的数据操作，使用批量处理。

进一步的，所述步骤S3中生产数据与历史数据分离的具体操作为：建立生产数据库和历史数据库，把生产数据与历史归档数据分开存储，减少在运行生产数据库的数据量。

进一步的，所述步骤S3中分布式部署的具体操作为：把不同来源的数据分别存储在不同物理数据库上，减少单个数据库的数据量。

进一步的，所述步骤S9中软件层次上的性能保证优化的具体操作为：确保系统的跨平台特性，平台中的日志管理模块考虑对监控信息进行详尽的存储，并提供查询和分析功能；在接口设计上，采用可靠的接口通信技术及SOA技术，保证数据有效可靠传输；数据存储上，采用业界主流的mysql数据库，确保平台基础数据和日志信息等的长期可靠存储。

进一步的，所述步骤S9中硬件层次上的性能保证优化的具体操作为：采用双机集群和热备方式，与负载均衡技术相结合，确保任何单一节点的故障都不影响整个系统的正常运行。

进一步的，所述步骤S9中网络层次上的性能保证优化的具体操作为：采用知名品牌的网络设备和最优的配置组合，保障数据传输的可靠性和传输速率。网络可靠性方面、传输速率方面，南网网络的带宽及容量、质量足够支持应用的需要。

相比于现有技术，本发明的优点在于：

(1)本方案从数据交互和应用响应两个方面，软件、硬件和网络三个层次，对信息安全运行监测预警系统进行了全面的性能优化设计，针对数据交互的优化，主要从高性能技术应用、数据库优化、结构性能优化、数据泛化、采用多线程技术、数据压缩传输、数据缓存、数据访问优化及多层次性能保证优化几个方面做出优化，以实现大数据量交互时能及时响应用户操作，并满足系统的性能要求，在应用响应方面，从UI的响应优化、编程语言的选择、代码性能设计、减少不必要的请求、压缩界面元素几方面考虑优化，确保了系统的高性能。

(2)通过多线程技术的优化，多线程应用能够充分利用设备硬件资源，高效率的完成计算工作，使得用户具有更好的用户体验，同时使管理平台能够处理大量并发的用户请求。

(3)通过数据缓存的优化，可以大大减少数据库往返次数，从而充分利用服务器的大内存，提高数据提取效率和并发数访问效率。

(4)通过数据访问的优化，能够确保数据操作的独立性、安全性和可靠性。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为本发明数据交互优化策略的系统框图；

图2为本发明应用优化策略的系统框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图所示，本发明的一种预警系统的运维流程管理性能优化方法，包括数据交互优化策略和应用优化策略，其中，数据优化策略包括以下步骤：

S1、高性能技术应用：应用实时数据过滤链架构，采用分布式数据中心，实现对来自不同采集器监控数据的分布式处理，通过分布式的独立功能单元形成单向连接过滤链，对实时监控的整个过程及形成的数据流进行处理，同时，应用双队列采集技术，实现数据采集和数据发送的分离与高效执行；

S2、数据库优化：从物理优化和逻辑优化两个方面对数据库进行优化，数据库性能最关键的因素在于IO，因为操作内存是快速的，但是读写磁盘是速度很慢的，优化数据库最关键的问题在于减少磁盘的IO，因此应该分为物理的和逻辑的优化，物理的是指oracle产品本身的一些优化，逻辑优化是指应用程序级别的优化；

S3、结构性能优化：将生产数据与历史数据分离，建立生产数据库和历史数据库，把生产数据与历史归档数据分开存储，减少在运行生产数据库的数据量，并进行分布式部署，把不同来源的数据分别存储在不同物理数据库上，减少单个数据库的数据量；

S4、数据泛化：对挖掘的数据进行统一的规格化，以符合数据库的数据存储要求，并提高数据读取速度，数据库中的数据和对象通常包含原始概念层的细节信息，将数据库中跟任务相关的大型数据集，从相对较低的概念层抽象到较高的概念层，各接口将监控业务数据发送到IT集中运行平台，通过数据解析和泛化以统一的格式存储在IT集中运行监控系统数据库；

S5、采用多线程技术：以用户界面线程为主线程，主线程给出系统的集中展示窗口，拥有自己的消息循环，也就是系统的主体部分，并以数据接收线程、数据分析线程为辅线程，数据接收线程负责监控数据，数据分析线程负责集成、分析接收的数据，并进行图例的绘制，多线程技术是为了使系统能够并行地处理多项工作任务而采用的技术，以便提高系统运行效率，每个线程就是系统中的一个处理过程，完成一项工作任务，多线程应用能够充分利用设备硬件资源，高效率的完成计算工作；

S6、数据压缩传输：在将数据传输给信息安全运行监测预警系统之前，先对数据进行压缩，可减少网络的数据传输量，从而以更快的速度响应到信息安全运行监测预警系统进行解压；

S7、数据缓存：在数据层和应用层之间增加数据缓存层，提供全局数据服务，可大大减少数据库往返次数，从而充分利用服务器的大内存，提高数据提取效率和并发数访问效率；

S8、数据访问优化：对所有的数据访问采用统一的API封装，即建立一个数据访问接口层，接口层中定义了应用程序所需要的所有数据操作方法，应用程序访问数据时均需通过此接口层进行，从而确保数据操作的独立性、安全性和可靠性；

S9、多层次性能保证优化：从软件、硬件和网络三个层次上进行性能保证优化，其中，在软件层次上：确保系统的跨平台特性，平台中的日志管理模块考虑对监控信息进行详尽的存储，并提供查询和分析功能，并在接口设计上，采用可靠的接口通信技术及SOA技术，保证数据有效可靠传输，并数据存储上，采用业界主流的mysql数据库，确保平台基础数据和日志信息等的长期可靠存储；在硬件层次上：采用双机集群和热备方式，与负载均衡技术相结合，确保任何单一节点的故障都不影响整个系统的正常运行；在网络层次上：采用知名品牌的网络设备和最优的配置组合，保障数据传输的可靠性和传输速率。网络可靠性方面、传输速率方面，南网网络的带宽及容量、质量足够支持应用的需要。

步骤S2中的物理优化可采用以下措施：优化Oracle的运行环境，如网络、硬件等；使用合适的优化器；合理配置Oracle实例参数；建立合适的索引，可减少IO；将索引数据和表数据分开在不同的表空间上，可降低IO冲突；建立表分区，将数据分别存储在不同的分区上，从而以空间换取时间，减少IO；扩展集群的实体服务器数量，对集群进行扩展。

步骤S2中的逻辑优化可采用以下措施：对表进行逻辑分割，数据存储进行按时间的裁剪汇总，及时统计裁剪历史数据，减少存储占用空间，提高查询性能；SQL语句使用占位符语句，并且开发时按照规定编写SQL语句，如全部大写，全部小写等；耗时的操作，在用户较少的情况下执行，错开系统使用的高峰时间，提高数据库性能；选择有效的表名；使用Exits Not Exits替代In Not in；合理使用事务，合理设置事务隔离性，对比较消耗数据库资源的数据操作，使用批量处理。

应用优化策略包括以下步骤：

A、UI的响应优化：进行UI的响应优化，将其分成即时响应、过渡效果和位移三个方面，综合应用即时响应、过渡效果、位移手段进行响应优化，保证良好的系统操作,其中，即时响应：即点即看，当请求失败时再进行信息反馈；过渡过程：操作信息安全运行监测预警系统的界面切换、数据向下挖掘查看等操作时，提供一个过渡过程或转场的效果，如：延时移动、淡入淡出、滑动、缩放、翻转等；移位：在不弹层、弹窗情况下的内容移位，合理的运用界面内容的展开、收起；

B、编程语言的选择：从系统的可移植性及灵活性方面进行考虑，采用移植性较好的编程语言，比如Java、Python等；

C、代码性能设计：采用分页，减少传输的数据量，界面设计采用数据异步加载、数据初始化、启动加速方式提高界面响应速度；

D、减少不必要的请求：减少不必要的文件复用，如css文件，并优化缓存，对于没有变化的网页元素，用户再次访问的时候没有必要重新下载，直接从浏览器缓存读取可有效减少http请求数；

E、压缩界面元素：每个元素越小，下载时间就越小，对集中显示的元素进行合适的压缩，以保证能够正常、快速的显示，如：图片的实际尺寸是2800*1024，大小是771KB，可将显示的尺寸大小压缩为320*240。

本发明从数据交互和应用响应两个方面，软件、硬件和网络三个层次，对信息安全运行监测预警系统进行了全面的性能优化设计，针对数据交互的优化，主要从高性能技术应用、数据库优化、结构性能优化、数据泛化、采用多线程技术、数据压缩传输、数据缓存、数据访问优化及多层次性能保证优化几个方面做出优化，以实现大数据量交互时能及时响应用户操作，并满足系统的性能要求，在应用响应方面，从UI的响应优化、编程语言的选择、代码性能设计、减少不必要的请求、压缩界面元素几方面考虑优化，确保了系统的高性能。

本发明的流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。