一种基于FT‑1500A处理器的安全分布式文件系统架构

摘要

本发明公开了一种基于FT‑1500A处理器的安全分布式文件系统架构，包括：客户端：用于给应用服务器提供一个兼容POSIX的访问分布式文件系统的接口；客户端连接前段交换网络，前段交换网络连接存储服务器、存储管理服务器和系统管理服务器，存储服务器连接后端交换网络。优点是：更高效、更安全、更环保即可满足用户数据安全可靠，在功能、性能上也能达到行业水平、同时具有更高的安全性，更低的能耗，尤其在安全可控上，从硬件平台，到软件架构，均核心均采用全国产化设备和软件，真正达到了安全可控的目标。

说明书

技术领域

本发明涉及分步式文件系统技术领域，具体地说是基于FT-1500A处理器的安全分布式文件系统架构。

背景技术

近年来，随着技术在各行各业的广泛应用，信息安全问题的日益突出。而随着国内、外一系列与信息安全有关的事件不断的发生，信息安全话题不但成为各行各大业关注的焦点，也上升到国家层面。存储、计算、网络是信息产业发展的三大基石，存储是信息系统的核心，数据已经成为国家重要的战略资源，关系国计民生，社会和谐、稳定和发展。作为数据存储的基础载体，信息系统不但关系到信息化主体业务的正常开展，还关乎到国家关键核心部门的信息安全，由于我国信息存储技术相对薄弱，关键设备大多采用国外进口，存在着重大安全隐患。

FT-1500A是我国自主研发/生产的一种高性能、低功耗处理器，FT-1500A系列处理器是64位通用CPU，兼容ARM V8指令集，采用国际先进的28nm工艺流片，具有高性能、低功耗等特点，关键技术国内领先，可实现对Intel中高端“至强”服务器芯片的替代，并广泛应用于政府办公和金融、税务等各行业信息化系统之中。

目前分布式系统架构主要是采用国外CPU进行系统架构设计，存在安全隐患。

发明内容

本发明的主要目的在于提供一种基于FPGA的分布式文件系统架构，旨在保证架构整体容错性、可扩展性以及容错性的同时，进一步降低分布式存储系统的成本。

为了实现上述目的，本发明提供了一种基于FT-1500A处理器的安全分布式文件系统架构，包括：

客户端：用于给应用服务器提供一个兼容POSIX的访问分布式文件系统的接口；

前端交换网络：主要用于接收使用分布式文件系统的客户端存储或读取的数据；

存储服务器：用于存储用户写入的数据，至少包括二个网络接口，其中一个用于给前端服务器读取、写入数据使用，一个用于分布式文件系统节点之间的通讯；

存储管理服务器：用于管理分布式文件系统中文件接口的文件元数据；

系统管理服务器：用于接收各存储服务器、存储管理服务器的监控进行推送的数据、处理存储节点的上线下线、为用户提供基于Web的管理平台、基于CLI的管理命令；

后端交换网络：主要用于分布式文件系统中各个节点之间的数据交换；

客户端连接前端交换网络，前端交换网络连接存储服务器、存储管理服务器和系统管理服务器，存储服务器连接后端交换网络。

进一步，所述整个分布式文件系统从逻辑上由存储服务、存储管理服务、系统管理服务、客户端四部分组成，这四部分可以运行在同一个节点，也可以根据环境需要分别运行在不同的节点，在由多个不同节点共同组成时，前端网络主要负责接收客户端的数据，由存储服务所在节点处理；客户端的元数据处理请求，由存储管理服务处理；由存储服务所在节点、存储管理服务所在节点推送的监控数据、上/下线信息，后端网络主要负责存储服务节点之间的数据复制，采用副本容错方式时，是主/副本之间的数据复制；采用纠删码容错方式时，是各纠删块之间的数据复制；存储服务、存储管理服务、系统管理服务必须运行在基于FT-1500A作为平台的节点之上，客户端可运行在FT-1500A以及兼容x86指令集的任何平台之上；

所有需要本分布式文件系统的客户端都必须安装相应平台的客户端程序，当客户端数据写入时，客户端开始写入数据时，先会将所有要写入的数据缓存在本地硬盘，从存储管理服务器得到一组可用的存储服务节点，然后将数据进行切片并加密，通过前端网络发布到存储服务器所在的节点之一，判断是否采用副本方式提供容错，采用则将主本保存到本存储服务器节点，然后将副本通过后端网络传输到另一存储服务器节点，不采用则根据制定的纠删算法计算成若干块，将其中一个纠删块保存到本存储服务器节点，将其他纠删块通过后端网络传输到另几存储服务器节点；然后将保存数据的存储服务器节点信息报告存储管理服务器，存储管理服务器将客户端文件的元数据信息以及保存数据的存储服务器节点信息记录，客户端数据写入完成。

进一步，所述数据进行切片是切分为指定大小，如果写入数据小于指定大小时，使用特殊内容填充到切片大小，同时对切片后的内容在指定位置填充随机内容，如图4所示后，对切片进行加密，使用文件的部分元数据信息作为密钥；同时从存储管理服务器得到一组可用的存储服务器所在节点信息，以及该切片是使用副本还是纠删的容错方式；根据副本或纠删的要求把切片保存到不同节点；有效内容和无效内容交替设置；在读取数据时，通过存储管理服务器中保存的文件元数据信息、切片所在节点信息、切片采用的容错方式信息将文件采用与写入时逆向的方法将文件拼接并返回给所需的应用程序。

进一步，所述分布式文件系统系统管理服务器管理方式是在存储服务所在节点、存储管理服务器所在节点有一个独立的进程用于整个分布式文件系统管理，

如下管理工具都是由系统管理服务负责：

节点之间通过将系统管理服务器定时推送心跳，让系统管理服务器得到整个分布式文件系统节点是否在线、是否有新的节点加入；

负责处理CLI管理命令的请求；

运行采用Python+AJAX架构，Web浏览器的GUI管理服务；

根据分布式文件系统的负载情况，开启或关闭存储服务所在节点。

本发明的工作原理是：利用FT-1500A的低功耗以及分布式文件系统的高性能和可扩展性相结合，开发出一套分布式文件系统，同时利用Python开发一套完善的管理工具提高该系统的可维护性。

由于FT-1500A自身为低功耗处理器，这样可以极大的降低功耗，同时本架构会根据系统的负载情况自动的开启或关闭部分节点以达到近一步节能的目的。

本发明公布的系统架构优点是：采用C/S架构，提供基于Web浏览器的GUI管理以及基于CLI的命令二种管理模式；与现有技术相比，本发明更高效、更安全、更环保；即可满足用户数据安全可靠，在功能、性能上也能达到行业水平、同时具有更高的安全性，更低的能耗，尤其在安全可控上，从硬件平台，到软件架构，均核心均采用全国产化设备和软件，真正达到了安全可控的目标。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明原理框图；

图2为本发明实施例1原理框图；

图3为本发明客户端写入数据流程图；

图4为本发明数据切片加密原理图。

具体实施方式

下面可以参照附图1-4以及文字内容理解本发明的内容以及本发明与现有技术之间的区别点。下文通过附图以及列举本发明的一些可选实施例的方式，对本发明的技术方案(包括优选技术方案)做进一步的详细描述。需要说明的是：本实施例中的任何技术特征、任何技术方案均是多种可选的技术特征或可选的技术方案中的一种或几种，为了描述简洁的需要本文件中无法穷举本发明的所有可替代的技术特征以及可替代的技术方案，也不便于每个技术特征的实施方式均强调其为可选的多种实施方式之一，所以本领域技术人员应该知晓：可以将本发明提供的任意技术手段进行替换或将本发明提供的任意两个或更多个技术手段或技术特征互相进行组合而得到新的技术方案。本实施例内的任何技术特征以及任何技术方案均不限制本发明的保护范围，本发明的保护范围应该包括本领域技术人员不付出创造性劳动所能想到的任何替代技术方案以及本领域技术人员将本发明提供的任意两个或更多个技术手段或技术特征互相进行组合而得到的新的技术方案。

本发明实施例提供了一种基于FT-1500A处理器的安全分布式文件系统架构。

下面结合图2对本发明提供的技术方案进行更为详细的阐述。

实施例1

本发明的技术方案是按以下方式实现的，整个分布式文件系统从逻辑上由存储服务、存储管理服务、系统管理服务、客户端四部分组成，这四部分可以运行在同一个节点，也可以根据环境需要分别运行在不同的节点，在由多个不同节点共同组成时，其结构如附图2所示，前端网络主要负责接收客户端的数据，由存储服务所在节点处理；客户端的元数据处理请求，由存储管理服务处理；由存储服务所在节点、存储管理服务所在节点推送的监控数据、上/下线信息，后端网络主要负责存储服务节点之间的数据复制，采用副本容错方式时，是主/副本之间的数据复制；采用纠删码容错方式时，是各纠删块之间的数据复制；存储服务、存储管理服务、系统管理服务必须运行在基于FT-1500A作为平台的节点之上，客户端可运行在FT-1500A以及兼容x86指令集的任何平台之上。

实施例2

如上所述实施例一种基于FT-1500A处理器的安全分布式文件系统架构，所有需要本分布式文件系统的客户端都必须安装相应平台的客户端程序，当客户端数据写入时，采用如图3所示的方式。

客户端开始写入数据时，先会将所有要写入的数据缓存在本地硬盘，从存储管理服务器得到一组可用的存储服务节点，然后将数据进行切片并加密，通过前端网络发布到存储服务器所在的节点之一，判断是否采用副本方式提供容错，采用则将主本保存到本存储服务器节点，然后将副本通过后端网络传输到另一存储服务器节点，不采用则根据制定的纠删算法计算成若干块，将其中一个纠删块保存到本存储服务器节点，将其他纠删块通过后端网络传输到另几存储服务器节点；然后将保存数据的存储服务器节点信息报告存储管理服务器，存储管理服务器将客户端文件的元数据信息以及保存数据的存储服务器节点信息记录，客户端数据写入完成。

实施例3

如上所述实施例一种基于FT-1500A处理器的安全分布式文件系统架构，所述数据进行切片是切分为指定大小，如果写入数据小于指定大小时，使用特殊内容填充到切片大小，同时对切片后的内容在指定位置填充随机内容，如图4所示后，对切片进行加密，使用文件的部分元数据信息作为密钥；同时从存储管理服务器得到一组可用的存储服务器所在节点信息，以及该切片是使用副本还是纠删的容错方式；根据副本或纠删的要求把切片保存到不同节点；有效内容和无效内容交替设置；在读取数据时，通过存储管理服务器中保存的文件元数据信息、切片所在节点信息、切片采用的容错方式信息将文件采用与写入时逆向的方法将文件拼接并返回给所需的应用程序。

实施例4

如上所述实施例一种基于FT-1500A处理器的安全分布式文件系统架构，分布式文件系统系统管理服务器管理方式是在存储服务所在节点、存储管理服务器所在节点有一个独立的进程用于整个分布式文件系统管理，

如下管理工具都是由系统管理服务负责：

节点之间通过将系统管理服务器定时推送心跳，让系统管理服务器得到整个分布式文件系统节点是否在线、是否有新的节点加入；

负责处理CLI管理命令的请求；

运行采用Python+AJAX架构，Web浏览器的GUI管理服务；

根据分布式文件系统的负载情况，开启或关闭存储服务所在节点。

如果本文中使用了“第一”、“第二”等词语来限定零部件的话，本领域技术人员应该知晓：“第一”、“第二”的使用仅仅是为了便于描述上对零部件进行区别如没有另行声明外，上述词语并没有特殊的含义。

另外，上述本发明公开的任意技术方案中所应用的用于表示位置关系或形状的术语除另有声明外其含义包括与其近似、类似或接近的状态或形状。本发明提供的任意部件既可以是由多个单独的组成部分组装而成，也可以为一体成形工艺制造出来的单独部件。

最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。