分布式文件存储技术在核电设计领域的应用

摘要

核电工程设计过程中会产生大量非结构化过程文件,这些文件不但数量多、单个文件大,而且在核电工程设计过程中需要频繁高速读取.提出在分布式文件存储的基础上,同时结合Web应用系统负载均衡技术形成的系统架构方案,方案中利用负载均衡技术解决网络带宽瓶颈及数据处理节点的计算负荷,充分发挥了分布式文件系统高并发、高可靠、灵活扩展等技术特征,较好地解决了非结构化大文件存储问题.本文所研究的分布式存储管理方法，是从解决核电工程设计过程中产生的大量设计文件的存储问题出发，提出基于 Hadoop分布式群集为存储平台，结合负载均衡技术，通过二次开发的分布式文件存储管理系统。系统很好地解决了核电设计过程数据持续增长而产生的存储问题，试运行过程中各项功能均达到设计目标。尽管分布式存储系统有许多优点，但也存在许多缺陷，首先分布式系统是一门新兴技术，软件稳定性及功能还不成熟，除在互联网企业中较广泛应用外，在其他专业领域内使用的比较少；其次分布系统没有形成统一的标准，在做具体的应用业务时要求大量的二次开发，这也限制了分布式系统的使用。因此，分布式存储系统并不能取代传统存储，只是适用的应用场景不同，分布式存储适合非结构化、单个文件大、增长速度快、并发量大的数据业务，传统存储适合结构化、关系型数据业务，两者各有优缺点，相辅相成。本文通过对分布式存储系统的研究，搭建了一套功能简单的文件存储平台，后续将持续对平台进行性能及功能优化，并继续探索分布式文件系统在核电设计中的应用，为打造更高效、更稳定、更低成本的核电设计生产系统而努力。