一种基于人工智能的分布式训练和推理方法、系统、设备和可读存储介质

摘要

本申请涉及人工智能领域，涉及一种基于人工智能的分布式训练和推理系统和方法，训练中调度分配适当的计算资源，动态调节系统硬件负载，依托多维并行技术，将模型参数分解到各个处理器上，前向计算得到输出结果，与训练数据标签作对比得到损失函数值，后向计算梯度，用于下一步更新模型参数，根据需要选择适当的优化器，依照计算的梯度对模型的参数进行更新，微调针对具体应用继续训练模型。完成训练的模型进行实际应用的推理，在推理过程中，也可以采用上述的资源调度和多维并行技术。本申请通过在AI模型训练和推理过程中引入大规模分布式，降低AI对计算资源的消耗，缩短训练推理时间，帮助最大化提升AI部署效率并将部署成本最小化。