摘要:
系统性的评测工作是全面评价和优化HPC系统的重要手段,作用日益突出。当前,针对HPC的评测缺乏专门的评价体系、缺乏对可靠性、功耗、复杂性、扩展性等瓶颈问题的系统性评测方法,以及自动化水平低的问题。本文在总结历代“神威”超级计算机评测的基础上,从测试级别、功能模块和测试类型三个维度,研究并实现了HPC系统评测框架TESTER@HPC,包括HPC评测技术体系和基于该评测技术体系的自动化测试系统两部分。rn HPC评测技术体系分两个层次:(1)系统级评测规范,共6类134项评测要求;(2)子系统级评测规范,针对主机节点、海量存储、互连网络、并行语言和编译器四个关键子系统,分别建立了评测目标集合,以及与之对应的评测方法集合和评测X-具集合,共17类936项评测要求。自动化测试系统集成了HPC评测技术体系的所有内容,对所有可自动化执行的测试项,支持多节点并发的远程作业执行、监控和结果回收,可进行大规模并发的功能、性能、稳定性自动化测试,并实现了故障注入子系统,用于多种模式的故障注入测试。rn 使用TESTER@HPC在“神威”蓝光上进行了多轮测试,共发现224个问题,包括5个致命问题,66个严重问题66个,153个一般问题,并提出44个建议改进项,98.8%的问题在系统交付前得到解决,为提高“神威”蓝光的成熟度和系统的稳定运行发挥了作用,测试效率提高了113%,推动了HPC系统评测工作的系统化和规范化.