一种优化集群存储网络资源配置的方法

摘要

本发明涉及一种计算机应用技术,具体地说是一种优化集群存储网络资源配置的方法。应用于集群网络存储系统的开发测试、应用部署中。集群网络存储系统中,针对某些高性能数据处理领域,需要经常存储、访问海量数据文件,同时运行并行程序对海量数据进行处理,如:高能物理实验中的数据处理程序、流媒体文件的存储与访问等。集群网络存储系统的特点是底层存储设备节点多、网络数据访问量大，目前部署集群网络存储系统时，需综合考虑系统的需求容量、性能、规模等参数。同时，开发测试过程中，合理分配节点数量、合理利用网络带宽是降低集群网络存储系统成本的重要途径。

说明书

 

技术领域

本发明涉及一种计算机应用技术, 具体地说是一种优化集群存储网络资源配置的方法。

本发明应用于集群网络存储系统的开发测试、应用部署中。集群网络存储系统中,针对某些高性能数据处理领域,需要经常存储、访问海量数据文件,同时运行并行程序对海量数据进行处理,如:高能物理实验中的数据处理程序、流媒体文件的存储与访问等。集群网络存储系统的特点是底层存储设备节点多、网络数据访问量大，目前部署集群网络存储系统时，需综合考虑系统的需求容量、性能、规模等参数。同时，开发测试过程中，合理分配节点数量、合理利用网络带宽是降低集群网络存储系统成本的重要途径。

背景技术

集群网络存储发展过程中，出现了很多的新概念，例如虚拟文件系统、虚拟存储服务器、虚拟存储池等，这些虚拟概念是在实际物理结构基础上构建的。合理分配实际的计算、存储服务器，有效利用各部分资源性能进行资源虚拟化尤其重要。

存储网络中，有效地分配各网络终端服务器数量及存储磁盘阵列的容量，可以避免网络瓶颈造成了物理资源的浪费，实现系统虚拟化后资源的最大化利用。

发明内容

本发明的目的是提供一种优化集群存储网络资源配置的方法，或是一种使用虚拟内存盘进行存储系统网络带宽瓶颈的评测方法，具体来说就是通过屏蔽后端磁盘阵列或磁盘读写速度的影响，直接进行网络存储数据的带宽评测，给大系统的评测、搭建提供合理的依据。

本发明的目的是按以下方式实现的，通过屏蔽后端磁盘阵列或磁盘读写速度的影响，直接进行网络存储数据的带宽评测，给大系统的评测、搭建提供合理的依据，使用本地内存盘建立虚拟存储池的方法进行网络存储数据带宽的评测，该方法通过直接修改本地linux 系统参数，设定本地虚拟存储盘大小，进而在本地内存盘上建立并行文件系统的虚拟存储池，通过系统所属网络的客户端节点访问虚拟存储空间，并测试网络数据的传输带宽，给出系统网络带宽的拟合曲线，为系统搭建的架构、规模提供可靠的评测依据，避免物理资源、网络资源的浪费：具体步骤如下：

该方法包括：构建虚拟内存盘存储池、实施网络性能优化测试，其中：

构建虚拟内存盘存储池：是该评测方法的关键，是本发明的核心部分，网络存储的文件系统不再使用传统的物理磁盘或后端磁盘阵列进行创建，而使用本地linux系统下的虚拟内存盘，通过修改/etc/grub.conf中的启动选项设置本地虚拟内存盘的大小，系统启动后，使用文件系统创建命令直接访问本地的/dev/ram0进行本地虚拟内存盘上文件系统的创建，整个网络中所有存储空间虚拟成统一的资源对外提供服务，本地计算机内存可达上百GB的空间，为该方法提供了足够的空间大小，使用该方法能有效避免后端存储资源对网络带宽的影响，特别是在系统的预估过程中有着重要意义；

网络性能优化测试：是在屏蔽后端阵列影响的基础上，进行网络端口带宽的优化，进而确定网络端口的计算、存储资源有效分配；通过多计算客户端向单一存储端口读写数据测试单一存储端口的数据传输带宽；通过多存储端口提供服务，测试单一计算客户节点的数据读写网络带宽瓶颈；通过多计算节点对多存储节点绘制网络带宽及端口带宽吞吐率的拟合曲线，通过以上数据分析，进行计算资源与存储资源的有效分配，减少存储、计算、网络资源的瓶颈浪费，实现系统功效最大化。

本发明的友谊效果是：随着存储架构的发展，集群网络存储的应用部署越来越广泛。针对不同的用户需求，更好的评测存储网络的数据传输能力、评估确定系统环境规模具有重要意义。使用虚拟内存盘测试集群存储网络带宽，并进行网络配置资源优化，该方法在目前集群文件系统的开发中已经得到应用，对评估系统性能、系统规模大小具有重要的作用。

附图说明

图1虚拟内存盘存储池；

图2资源优化分配。

具体实施方式

参照幅图对本发明的方法做以下详细的说明。

使用本地内存盘建立虚拟存储池的方法进行网络存储数据带宽的评测。该方法可以通过直接修改本地linux 系统参数，设定本地虚拟存储盘大小，进而在本地内存盘上建立并行文件系统的虚拟存储池。通过系统所属网络的客户端节点访问虚拟存储空间，并测试网络数据的传输带宽，给出系统网络带宽的拟合曲线，为系统搭建的架构、规模提供可靠的评测依据，避免物理资源、网络资源的浪费。该方法包括以下两个部分：虚拟内存盘存储池、网络性能优化测试。

构建虚拟内存盘存储池：是该评测方法的关键，是本发明的核心部分。网络存储的文件系统不在使用传统的物理磁盘或后端磁盘阵列进行创建，而使用本地linux系统下的虚拟内存盘。通过修改/etc/grub.conf中的启动选项设置本地虚拟内存盘的大小。系统启动后，使用文件系统创建命令直接访问本地的/dev/ram0进行本地虚拟内存盘上文件系统的创建。整个网络中所有存储空间虚拟成统一的资源对外提供服务。本地计算机内存可达上百GB的空间，为该方法提供了足够的空间大小。使用该方法可以有效避免后端存储资源对网络带宽的影响，特别是在系统的预估过程中有着重要意义。

实施网络性能优化测试：是在屏蔽后端阵列影响的基础上，进行网络端口带宽的优化，进而确定网络端口的计算、存储资源有效分配。可以通过多计算客户端向单一存储端口读写数据测试单一存储端口的数据传输带宽；通过多存储端口提供服务，测试单一计算客户节点的数据读写网络带宽瓶颈；通过多计算节点对多存储节点绘制网络带宽及端口带宽吞吐率的拟合曲线。通过以上数据分析，进行计算资源与存储资源的有效分配。减少存储、计算、网络资源的瓶颈浪费，实现系统功效最大化。

实施例

选择大内存的服务器模拟后端存储资源，设置linux系统中/etc/grub.conf中启动项，内核后加入ramdisk_size=XXXXXX。系统重启后，可以发现系统的/dev/ram0大小为配置文件中设置的大小。设置过程中留下系统本身使用的内存空间容量。

利用文件系统搭建虚拟的后端存储池。以lustre文件系统为例，直接在/dev/ram0上创建并行文件系统的OST存储对象并挂载。

通过设置遍历OST数目可以实现多计算节点对单一OST访问的读写控制，通过增减计算节点的数量测试单一OST节点的网络带宽。计算节点增加而网络带宽不再增加时问存储端的网络带宽瓶颈。同样，可以通过增加OST节点数量测试出单一计算节点的网络带宽瓶颈值。

通过测试并绘制多计算节点对多存储节点的网络带宽曲线，在一定阈量的基础上合理分配计算资源、存储资源、网络资源。实现计算、存储、网络资源的最大化应用，减少部署时的资源浪费。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。