一种基于快速同步网络的分布式文件系统监控方法

摘要

本发明提出的一种基于快速同步网络的分布式文件系统监控机制，能够快速同步系统中的每一个节点上服务的状态，对于N个节点，全系统只需要发送3N个消息即可完成整个系统的状态监控和同步，因此具有较好的可扩展性，能够随着系统规模进行扩展。同时采用了基于选举的动态换主方法，不存在单点故障。同时根据系统与其他节点的通信状态，进一步压缩了同步消息的数量，降低了监控的开销。

说明书

技术领域

本发明涉及并行文件系统的通信系统，特别涉及一种基于快速 同步网络的分布式文件系统监控方法。

背景技术

分布式系统中通信系统作为系统各节点之间的通信基础，具有 重要的意义。由于分布式系统中的每一个节点均可能出现故障，而 为了提高系统的可用性，需要在节点和服务出现故障之后，能够快 速的进行故障检测和定位，以便于系统的后续故障恢复和处理。因 此分布式系统的监控和检测的速度和准确率变得重要。传统的系统 监控方法，通过节点之间相互发出服务状态监控消息，这种方法能 够检测出系统故障，但是随着系统规模的扩大，其对网络中正常消 息的干扰会急剧上升。同时故障检测和通知的速度均存在问题。在 这种背景下，本专利提出了一种利用快速同步网络进行分布式文件 系统监控的机制，有效的保证了可扩展性和检测通知的速度。

发明内容

本发明的目的是解决随着系统规模扩到导致的文件系统监控 的可扩展性和速度的问题，基于快速同步网络，提供了一种分布式 系统监控机制。

本发明采用了一套快速同步网络，该快速同步网络与每一个服 务节点相互连接，采用树状或者其他拓扑形状，连接起来，构成一 个同步组，每一个服务节点在快速同步网络中间有一个独立的编 号。

对于同步组中间的节点上，存在一个同步代理模块，用于获取 节点上运行服务的状态，和同步组中间的其他节点之间进行消息交 互，包括报告自身的服务状态，获取整个系统的节点服务状态。

在一个同步组中间，存在一个主节点，用以周期性的发起状态 收集命令，向所有节点报告整个系统的运行状态。其他从节点负责 处理主节点发出的状态收集命令，收集本地节点服务状态，并向主 节点应答本节点的状态。同时从节点负责接收来自主节点的系统状 态报告，根据该状态报告进行故障处理。当系统规模扩大之后，同 步组可以分层，每一层内部为一个同步组，内部完成同步之后，由 每一层提供的同步组的头结点构成的高一层同步组之间再进行同 步操作。

当主节点出现故障的时候，需要同步组能够迅速检查到主节点 故障，并进行换主操作。本发明实现了一种动态换主方法。详细步 骤为：

S1，对于每一个从节点，会周期性的检测是否存在来自主节点 的系统状态报告消息；

S2，如果发现主节点未报告，则增加主节点失败计数；如果主 节点的失败记录超过阈值，则从节点向同步组中间上次活动的序号 最小的从节点发出接管命令，等待接管完成命令；

S3，该最小节点在接收到接管命令之后，向主节点发出状态询 问命令，如果收到主节点的应答命令，则无操作；否则，认为主节 点死机，进行主节点接管操作，在接管操作完成之后，向所有节点 发出接管完成命令；

S4，如果其他从节点在几个周期内未收到接管完成命令，则认 为该最小节点死机，继续步骤S2，选出下一个可用的主节点为止；

S5，新接管完成的主节点定期发起请求状态查询。

本发明提出的一种基于快速同步网络的分布式文件系统监控 机制，能够快速同步系统中的每一个节点上服务的状态，对于N个 节点，全系统只需要发送3N个消息即可完成整个系统的状态监控 和同步，因此具有较好的可扩展性，能够随着系统规模进行扩展。 同时采用了基于选举的动态换主方法，不存在单点故障。同时根据 系统与其他节点的通信状态，进一步压缩了同步消息的数量，降低 了监控的开销。

附图说明

以下，结合附图来详细说明本发明的实施例，其中：

图1为基于快读同步网络的监控系统示意图；

图2为节点监控机制示意图；

图3为多层次系统的同步方式示。

具体实施方式

下面结合附图和具体实施方式对本发明的方法进行说明。

快速同步网络的连接如图1所示，快速同步网络与每一套服务 节点相互连接，同步网络的具体实现形式不限定，可以为物理的独 立的管理网络，可以为和数据网络一样的物理网络。

节点监控方式如图2所示，对于同步组中间的状态收集和同步 方式分为如下几个步骤：

步骤S1，头节点根据当前节点和其他节点的连接状态，以及在 监测时间间隔内是否发送过消息，构建状态收集组，如果时间间隔 内发送过消息，则无需向该节点发送状态收集命令；如果未发送消 息，则将对应节点加入到状态收集组中

步骤S2，头结点向其他节点以广播的方式发出状态收集请求， 等待其他节点应答状态通知

步骤S3，同步组中其他节点在接收到状态收集消息之后，检测 自己的服务状态，并向头结点发出应答通知。

步骤S4，头结点收集所有的应答通知，如果有节点在规定时间 内未应答，则认为该节点上的服务未响应，如果死机次数超过规定 阈值，则认为该节点死机，修改对应的节点状态。

步骤S5，头结点在完成收集应答通知步骤之后，向同步组中的 所有有效节点发出系统状态通知。

步骤S6，其他节点在接收到系统状态通知之后，获知系统中整 个节点状态，根据状态通知，进行相应的故障处理。

多层次系统的同步方式示例如图3所示：

步骤S1，主节点0和次主节点1，次主节点2构成一个同步组0， 主节点0首先以广播方式发起状态收集请求，等待同步组的应答

步骤S2次主节点1和其内部的从节点构成一个次同步组1，次 主节点1在收到主节点0发出的状态收集请求，次主节点1以广播 的方式发起状态收集请求，在内部收集完成之后，向主节点0发送 同步组0的应答操作。同样的次主节点2在次同步组2内部发起状 态收集请求，在次同步组2内部完成状态收集之后，向主节点0发 送同步组0的应答操作。

步骤S3，主节点0在收到次主节点1和次主节点2的应答操作 之后，计算全系统的状态，向次主节点发送系统状态报告

步骤S4，次主节点在接收到系统状态报告之后，向各自的次同 步组内部广播系统状态。

步骤S5，各个节点都接收到系统状态，完成一次同步操作。