一种基于人工智能的多维并行处理方法、系统、设备和可读存储介质

摘要

本申请属于人工智能领域，涉及一种基于人工智能的多维并行处理系统和方法。训练过程中，通过数据并行，自动管理待处理数据，将待处理数据分配到硬件处理器上；序列并行，对数据进行切分和分配，将每个待处理数据放到多个处理器；流水并行，将模型分成多段，各段部署在不同的硬件处理器，并按模型顺序串接，以及多维模型并行，对调度到所述处理器的所述待处理数据的训练模型执行网络模型划分，将训练模型调度至多个所述处理器中，优化器对模型的参数进行更新完成训练过程。在推理过程中，也采用上述的资源调度和多维并行技术。通过在AI模型训练和推理过程中引入多维并行处理，降低AI对计算资源的消耗，提升人工智能部署效率并最小化部署成本。