面向任务调度优化的分布式系统信息管理框架

摘要

近年来深度学习作为学术界与工业界共同关注的热点,取得了飞跃式的发展,在计算机视觉、语音识别等领域取得了令人瞩目的成果.深度学习分训练与推理两个阶段,在实际应用中主要关注的是推理阶段.深度学习推理过程中伴随着巨大的计算量,通过分布式系统提高其计算速度也得到了越来越多的关注.然而,构建分布式深度学习推理系统面临着深度学习加速设备更新迭代快速、上层应用及计算任务复杂多样等挑战.本文设计并实现的系统信息管理框架,用于收集并处理系统中的各类信息,收集及处理的规则具有高度的可扩展性和灵活性,并提供通用的RESTful API数据访问接口,以支持分布式深度学习推理系统对各类硬件加速器的灵活兼容性以及对任务调度策略的动态调整能力.最后,本文通过一个应用实例对该框架的功能进行验证并对实验结果进行分析.