面向光源类大科学装置的交互式计算系统的研究与实现

摘要

随着科学技术的发展，高能同步辐射光源等先进光源大科学装置每年将产生数百PB的海量实验数据，这些数据被用来开展多样化的科学分析。传统的光源类大科学装置数据分析通常把数据下载到用户本地计算环境，给网络带宽、用户本地的计算和存储系统等带来巨大的挑战，难以满足实验数据快速增长的需求，因此需要建立一个统一的计算平台来为光源用户提供服务。同时，光源类大科学装置计算平台具有个性化、交互式和实时性等特点，每个实验的科学数据分析软件需求也各不相同，为此本论文开展用户界面、资源调度、安全认证、自动化集成等关键技术研究，并设计实现了一套统一的交互式计算系统。 本论文的主要工作和贡献如下: 1.基于Kubernetes容器编排技术和Jupyter软件框架开发实现了一个支持远程访问的多用户集成服务系统，提供预定义的个性化实验环境列表;为单用户创建容器化的虚拟环境，允许用户通过网页与计算环境进行交互。 2.提出一种基于Kubernetes的异构资源细粒度混合调度策略，基于原有的CPU和内存过滤方法增加了自定义GPU信息的过滤，从而筛选出符合用户细粒度需求的节点;改进了调度器的打分算法，对CPU应用和GPU应用分别采用负载均衡和最小最合适算法，保证异构资源调度策略对不同类型应用正确调度，在CPU资源不足的情况下充分利用GPU节点的碎片，实现资源充分利用。 3.基于Oauth2.0设计和开发了Jupyter认证插件，提供远程安全认证策略，并且无缝集成了光源的实验数据和现有计算集群的用户数据，保障了线站用户在平台的数据安全和用户环境的相互隔离。 4.设计并实现了持续集成和持续部署方案，帮助应用开发者在代码进行小部分改动时就可以构建一个新的应用，实现自动化的测试，并且自动化部署到平台，加快了面向光源实验应用的开发和部署效率。 经过实际生产环境的使用，本文实现的交互式计算系统具备良好的实用性和可拓展性。