一种推理系统业务性能评估的方法

摘要

本发明公开了一种推理系统业务性能评估的方法，涉及推理系统业务性能评估技术领域，属于人工智能领域，解决了人工智能推理能力在特定部署环境下的业务性能评估；与其它推理系统性能评估方法相比，本发明针对系统级别的推理性能分析，覆盖了从单一系统到集群系统架构下的推理系统整体性能评估；从推理结果准确性、输出延迟、并发性三个维度评估被测系统是否符合特定业务场景下的要求，在推理合格的前提下才可以进行性能评估，保证推理质量的同时确保性能评估的正常进行；通过对比同一推理数据样本在不同负载压力下的结果，得到接近真实业务部署环境下的推理准确性评估；将推理系统的运行整体合格性分析以及运行效率分析。