一种基于打分体系的分布式采集服务调度系统及方法

摘要

一种基于打分体系的分布式采集服务调度方法及系统，涉及网络设备采集任务的分配技术领域，使用采集服务指标评价体系，不仅考虑了采集服务自身的运行情况，还加入外部评价体系，即从采集服务外部对采集服务及采集服务的运行环境进行探测并评价。本发明有益效果：同时考虑了采集服务的内外部因素，并增加人为干预环节，使得服务的评价得分更加客观。

说明书

技术领域

本发明属于网络设备采集任务分配技术领域，具体涉及一种基于打分体系的分布式采集服务调度方法及系统。

背景技术

网络设备通过采集获取网络设备的运行状态信息，采集是进行网络设备管理的重要手段。随着采集系统纳管设备的增多，对采集系统的采集效率和采集的及时性提出了新的要求。为解决采集效率和及时性问题，采集系统通过部署多个采集服务实例同时对网络设备进行采集的方式进行采集任务分担。多个采集实例通过分布方式进行部署，通常称为分布式采集系统。网络设备分布式采集系统拥有多个采集服务实例，每个采集服务实例负责不同的网络设备的数据采集。如何把采集任务分配到采集服务上，是提高系统整体处理能力的关键所在。

通常情况下，采集任务的分配基于固定策略，如平均分配、指定权重、基于采集服务的负载状况动态分配等策略。目前多采用静态的策略提前进行任务分配或仅仅从采集服务的一些服务状态进行采集任务分配。随着云化和容器化部署，运行采集服务实例的运行环境越来越复杂，在进行采集任务分配时，需要综合考虑承载采集服务实例的运行环境情况，如运行采集服务实例的容器、虚机、物理机、网络状况等，网络设备分布式采集系统的采集任务分发和调度是否合理，影响整个系统的采集效率和吞吐量等指标。本发明针对采集服务的运行环境的复杂情况，采用打分机制对采集服务实例进行评价，为动态分配采集任务提供更加客观的依据，达到采集效率最大化。

发明内容

本发明所要解决的技术问题是提供一种基于打分体系的分布式采集服务调度方法及系统，解决网络设备分布式采集系统的采集任务分发和调度等问题，提高系统整体处理能力。

本发明为解决上述技术问题所采用的技术方案是：在本发明的第一方面，提供一种基于打分体系的分布式采集服务调度方法，包括以下步骤：

(1)采集服务获取服务自评分计算规则；

(2)采集服务根据自评分计算规则定期进行自评价并将自评价得分上报给采集服务评价单元；

(3)采集服务外部评价单元获取服务评分计算规则；

(4)采集服务外部评价单元根据服务评分计算规则向采集服务发起探测进行指标数据获取并对获取的数据进行计算，把计算结果上报给采集服务评价单元；

(5)采集服务评价单元根据采集服务和采集服务外部评价单元上报的评价得分进行加权计算生成每个采集服务的评价结果；

(6)用户根据实际情况对评价结果进行调整；

(7)采集服务评价单元同步采集服务的评价结果给采集调度单元；

(8)采集调度单元根据评价结果，按照调度规则进行采集服务调度，将采集任务分发给采集服务。

本发明所述步骤(2)中采集服务进行自评价的依据包括采集服务当前负载情况、采集服务所在主机资源使用情况、外部资源使用情况。

本发明所述步骤(4)中采集服务外部评价单元探测获取的指标数据包括采集服务到设备的连通性及网络性能情况、采集服务到外部存储的连通性及网络性能情况、部署采集服务的基础设施运行情况。

本发明所述步骤(5)中加权计算的方法为：采集服务自评价80％，采集服务外部评价20％。

在本发明的第二方面，提供一种基于打分体系的分布式采集服务调度系统，包括：

采集服务，用于计算自评价得分并负责执行不同网络设备的数据采集任务，能够上报采集服务自评价得分。

采集服务外部评价单元，用于获取采集服务外部评分计算规则，根据外部评分计算规则向采集服务发起探测并进行指标数据获取，同时对获取的指标数据进行计算得到采集服务的外部得分，并把结果上报给采集服务评价单元；

采集服务评价单元，用于下发评分规则及将自评价得分和外部得分进行计算生成每个采集服务的评价结果，将评价结果同步给调度单元；

采集调度单元，用于根据评价结果，按照调度规则进行采集服务的调度，将采集任务分发给采集服务。

在本发明的第三方面，提供一种电子设备，该电子设备包括处理器以及存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如本发明第一方面所述的方法。

在本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，其特征在于：所述一个或多个程序当被处理器执行时，实现如本发明第一方面所述的方法。

本发明的有益效果是：本发明基于采集服务内外部打分体系，同时考虑了采集服务的内外部因素，采集服务自己无法感知的外部的网络情况、基础设施运行情况等因素也参与打分，从而使得采集服务调度更加合理，并增加人为干预环节，客观评价采集服务状态，依据评价结果进行采集服务调度，可以更好解决采集过程中面临的采集任务分发不合理的现象，为动态分配采集任务提供更加客观的依据，达到采集效率最大化。

附图说明

图1为本发明基于打分体系的分布式采集服务调度系统整体示意图。

具体实施方式

下面结合说明书附图和具体实施例对本发明的技术方案做进一步说明。

网络设备分布式采集系统的采集任务分发和调度是否合理，影响整个系统的采集效率和吞吐量等指标。本发明基于采集服务内外部打分体系，不仅考虑了采集服务自身的运行情况，还加入了外部评价体系，即从采集服务外部对采集服务及采集服务的运行环境进行探测并评价，客观评价采集服务状态，依据评价结果进行采集服务调度，可以更好解决采集过程中面临的采集任务分发不合理的现象。

本发明将评价指标分为两类：采集服务自我评价和采集服务外部评价，采集服务自我评价由采集服务自行进行评价，外部评价则依赖外部探测单元对采集服务进行探测评价，两者的结果进行加权计算，得出服务的综合得分。加权可以根据采集服务运行环境的稳定性进行调整，在系统运行期间可以设置默认值：如采集服务自我评价占比80％，采集服务外部评价占比20％。

如图1所示，一种基于打分体系的分布式采集服务调度系统，包括：

多个采集服务，用于计算自评价得分并负责不同网络设备的数据采集任务；能够上报采集服务自评价得分。

采集服务外部评价单元(采集服务外部打分单元)，用于获取采集服务外部评分计算规则，根据外部评分计算规则向采集服务发起探测并进行指标数据获取，同时对获取的指标数据进行计算得到采集服务的外部得分，并把结果上报给采集服务评价单元；

采集服务评价单元(采集服务指标评价单元)，用于下发评分规则及将自评价得分和外部得分进行计算生成每个采集服务的评价结果，将评价结果同步给调度单元；

用户，监控并根据实际情况调整服务评价结果；

采集调度单元，用于根据评价结果，按照调度规则进行采集服务的调度，将采集任务分发给采集服务。

一种基于打分体系的分布式采集服务调度方法，包括以下步骤：

(1)采集服务获取服务自评分计算规则；

(2)采集服务根据自评分计算规则定期进行自评价并将自评价得分上报给采集服务评价单元；

(3)采集服务外部评价单元获取服务评分计算规则；

(4)采集服务外部评价单元根据服务评分计算规则向采集服务发起探测进行指标数据获取并对获取的数据进行计算，把计算结果上报给采集服务评价单元；

(5)采集服务评价单元根据采集服务和采集服务外部评价单元上报的评价得分进行加权计算生成每个采集服务的评价结果；

(6)用户可根据实际情况对评价结果进行调整(可选)；

(7)采集服务评价单元同步采集服务的评价结果给采集调度单元；

(8)采集调度单元根据评价结果，按照调度规则进行采集服务调度，将采集任务分发给采集服务。

自评分计算规则包括但不限于：服务当前负载情况(正在执行的采集任务数量、待执行的采集任务数量等)、服务所在主机资源使用情况(CPU、内存、IO等)、外部资源使用情况(使用第三方服务或中间件的情况，如：数据库连接情况、设备连接情况)等。

采集服务外部打分单元根据服务评分计算规则获取的数据包括但不限于：采集服务到设备的连通性及网络性能情况、采集服务到外部存储的连通性及网络性能情况、部署采集服务的基础设施运行情况，如承载虚机的物理机节点性能情况、采集服务容器化部署时采集服务所在物理运行节点的运行情况等。

具体实施例

1、采集服务获取服务自评分计算规则。计算规则由采集服务通过主动查询获取，或者由采集服务评价单元定期下发给采集服务。

2、采集服务定期根据自评分计算规则计算自我评价指标并上报给采集服务评价单元。评分计算依据包括但不限于：服务当前负载情况(正在执行的采集任务数量、待执行的采集任务数量等)、服务所在主机资源使用情况(CPU、内存、IO等)、外部资源使用情况(使用第三方服务或中间件的情况，如：数据库连接情况、设备连接情况)等。

具体地，如服务自评分计算规则为：

CPU利用率：小于30％，得1分，小于60％大于30％，得0.5，小于90％大于60％得0.2分，大于90％得0分。

内存利用率：小于30％，得1分，小于60％大于30％，得0.5，小于90％大于60％得0.2分，大于90％得0分。

IO利用率：小于30％，得1分，小于60％大于30％，得0.5，小于90％大于60％得0.2分，大于90％得0分。

设备连接情况：小于100个，得1分，小于300大于100个，得0.5，小于500个大于300个得0.2分，大于500个得0分。

采集失败率：小于3％个，得1分，小于10％大于3％，得0.5，小于10％大于20％得0.2分，大于20％得0分。

某一检查点，采集服务的运行状态为CPU利用率40％，内存利用率50％，IO利用率20％，设备连接个数5个，采集失败率0.1％，则采集服务自我评价得分为：0.5+0.5+1+1+1＝4。

3、采集服务外部打分单元(采集服务外部评价单元)获取服务评分计算规则。计算规则可由采集服务外部打分单元(采集服务外部评价单元)通过主动查询获取，或由采集服务评价单元定期下发。

4.采集服务外部打分单元(采集服务外部评价单元)根据服务评分计算规则向采集服务发起探测并进行指标数据获取，根据服务评分计算规则对获取的数据进行计算，把计算结果上报给采集服务评价单元。获取的数据包括但不限于：采集服务到设备的连通性及网络性能情况、采集服务到外部存储的连通性及网络性能情况、部署采集服务的基础设施运行情况，如承载虚机的物理机节点性能情况、采集服务容器化部署时采集服务所在物理运行节点的运行情况等。

具体地，如服务评分计算规则为：

采集服务到网络设备的网络丢包率：小于1％，得1分，小于1％大于10％，得0.5，小于30％大于10％得0.2分，大于30％得0分。

采集服务到外部存储的网络丢包率：小于1％，得1分，小于1％大于10％，得0.5，小于30％大于10％得0.2分，大于30％得0分。

部署采集服务的虚机所在物理机的CPU利用率：小于50％，得1分，小于70％大于50％，得0.5，小于90％大于70％得0.2分，大于90％得0分。

部署采集服务的虚机所在物理机的内存利用率：小于50％，得1分，小于70％大于50％，得0.5，小于90％大于70％得0.2分，大于90％得0分。

部署采集服务的虚机所在物理机的IO利用率：小于50％，得1分，小于70％大于50％，得0.5，小于90％大于70％得0.2分，大于90％得0分。

部署采集服务的虚机所在物理机的存储使用率：小于50％，得1分，小于70％大于50％，得0.5，小于90％大于70％得0.2分，大于90％得0分。

重大告警次数(如：风扇告警、CPU温度高、物理磁盘故障)：总分1，每发生一次告警减去0.1，到0为止。告警恢复得分重置。

某一检查点，采集服务到网络设备的网络丢包率：等于0。采集服务到外部存储的网络丢包率：等于0。部署采集服务的虚机所在物理机的CPU利用率：30％。部署采集服务的虚机所在物理机的内存利用率：40％。部署采集服务的虚机所在物理机的IO利用率：25％。部署采集服务的虚机所在物理机的存储使用率：25％。重大告警次数：0次，则评价得分为：1+1+1+1+1+1+1＝7分。

5、采集服务评价单元根据上报的打分结果，生成每个服务的评价结果。

如：服务A自评价得分为4分，外部打分结果为7分，按照默认权重(80％：20％)，则总得分为4*0.8+7*0.2＝5分。

6、用户可对评价结果进行调整。如采集服务实例A虽然评价分数较高，但是即将对该服务实例进行升级维护，则可以手工将评价得分降低，将该采集服务实例的采集任务迁移走。

7、采集服务评价单元同步服务评价结果给采集调度单元。

8、采集调度单元根据评价结果，按照调度规则进行采集服务调度，将采集任务分发给采集服务。

具体地，如采集服务实例A的得分为3.8，采集服务实例B的得分为1.2，则调度时，根据调度策略将更多的任务分配给采集服务实例A。

本发明与传统方法的区别点在于：同时考虑了采集服务的内外部因素，并增加人为干预环节，使得服务的评价得分更加客观。