面向高能物理实验数据的跨域文件系统设计

摘要

高能物理学作为一种粒子研究科学,多采用大科学装置进行物理实验并拥有海量的实验数据.欧洲大型强子对撞机、北京正负电子对撞机、羊八井国际宇宙线等大型高能物理实验每年都产生了海量实验数据,并分布在不同科研站点.面对海量的分布式实验数据,传统的高能物理计算模式中采用了网格的方式进行跨域数据共享,但资源利用率低、响应时间长以及部署维护困难等问题,限制了网格技术在中小型站点间的数据共享.本文针对高能物理计算环境中,中小型站点间的数据共享,设计了一种远程文件系统,并以Streaming&Cache的模式为核心思想确保系统的实时响应性能,实现了基于HTTP协议的按需数据传输与管理、高性能数据访问模式和文件统一化视图管理,并将其与高能物理计算中常用的分布式文件系统EOS、Lustre、GlusterFS等进行了性能比较.