一种基于深度学习构建多任务计算机视觉应用服务的方法

摘要

本发明公开了一种基于深度学习构建多任务计算机视觉应用服务的方法，属于人工智能技术领域。本发明的基于深度学习构建多任务计算机视觉应用服务的方法包括以下步骤：S1、定义应用服务的数据输入数据源格式；S2、定义GPU资源调度规则，实现按需自动分配GPU资源；S3、定义服务内部总线；S4、定义模型编排流水线；S5、应用服务的容器化部署和运维。该发明的基于深度学习构建多任务计算机视觉应用服务的方法能够降低深度学习的实现难度，提升开发效率，同时减少开发成本，具有很好的推广应用价值。

说明书

技术领域

本发明涉及人工智能技术领域，具体提供一种基于深度学习构建多任务计算机视觉应用服务的方法。

背景技术

当前，人工智能发展借助深度学习技术突破得到了全面关注和助力推动，各国政府高度重视，各界对其成为发展热点也达成了共识。深度学习是本轮人工智能爆发的关键技术。人工智能技术在计算机视觉和自然语言处理等领域取得的突破性进展，使得人工智能迎来新一轮爆发式发展。而深度学习是实现这些突破性进展的关键技术。深度学习技术仍不完美，应用门槛高，算法建模及调参过程复杂繁琐、算法设计周期长、系统实施维护困难，服务较难部署等问题。即使对于经验丰富的深度学习从业人员，开始深度学习也可能十分耗时和麻烦。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种能够降低深度学习的实现难度，提升开发效率，同时减少开发成本的基于深度学习构建多任务计算机视觉应用服务的方法。

为实现上述目的，本发明提供了如下技术方案：

一种基于深度学习构建多任务计算机视觉应用服务的方法，包括以下步骤：

S1、定义应用服务的数据输入数据源格式；

S2、定义GPU资源调度规则，实现按需自动分配GPU资源；

S3、定义服务内部总线；

S4、定义模型编排流水线；

S5、应用服务的容器化部署和运维。

所述GPU即Graphics Processing Unit，图形处理器。

作为优选，步骤S1中，将单个图片作为数据输入源，以HTTP+Restful为请求方式同步请求推理结果。

作为优选，步骤S1中，以图片流作为数据输入源，以人物方式下发请求，将推理结果以推理流方式输出，使用Kafka作为流传输介质。

作为优选，步骤S1中，以实时视频流作为数据输入源，以任务方式下发请求，将推理结果以推理流方式输出，使用Kafka作为流传输介质。

可将单个图片、视频文件作为数据源以Http+Restful方式同步请求推理结果，也可支持实时图片流和实时视频流作为数据源以任务方式下发异步请求推理结果，并将推理结果以Kafka方式推出。

作为优选，步骤S2中，支持自定义调度规则，提供多种API接口。可将容器作为封装的、独立部署的组件，利用操作系统级别的虚拟化，以隔离的实例运行在相同的内核之上，能够非常快速的启动所输出的应用实例；本方法也可通过RestfulAPI接口输出模型应用结果。

在深度学习负载下，GPU资源合理分配是非常重要的，该方法提供了针对GPU优化的调度算法规则库，用户可根据模型实际情况选择器调度规则，并且也可以自定义GPU调度规则，可为推理服务作业的运行保驾护航。

作为优选，步骤S3中，内部总线服务基于微服务框架，支持云原生，在内部总线服务传递业务数据、模型数据、控制数据和告警数据，且内部总线服务提供订阅、广播、点对点及点对多的传输方式。

作为优选，步骤S4中，用户可创建多个插件，并按顺序将其串连起来，构成一个完整的流水线，编排多个模型到一个流水线，一个流水线对应一个模型为主检测模型。

作为优选，多个插件组成一个容器，容器管理多个插件，改变容器状态，则容器自动修改所包含的插件的状态。

可提供丰富的插件服务，用户可创建多个插件，并按顺序将其串连起来，构成一个完整的流水线，自动实例化后即可输出深度学习模型的应用结果。

作为优选，步骤S5中，支持容器化部署，提供硬件、服务、作业的多级监控，提供AI任务在线调试、错误报警、日志管理和性能检测。

该基于深度学习构建多任务计算机视觉应用服务的方法通过创新的运行环境支持，对于多种深度学习框架如CNTK、TensorFlow、PyTorch等无需修改即可运行；并且其基于Docker的架构则让用户可以方便地扩展更多AI与大数据框架。支持多种数据源作为深度学习应用服务的数据输入，可自动兼容数据格式；可扩展支撑更多AI和大数据框架，对于多种深度学习框架如CNTK、TensorFlow、PyTorch等无需修改即可运行；支持自定义模型编排流水线，通过选择相应的功能插件自定义模型编排流程来实现其多模型多任务的编排应用；并且支持多种方式输出应用结果，方便了用户的对接和扩展；该方法通过对GPU资源统筹调度增加了GPU的利用率，提高了推理效率，减少了推理成本；并且该方法提供丰富的运营、监控、调试功能，降低了运维复杂度。

与现有技术相比，本发明的基于深度学习构建多任务计算机视觉应用服务的方法具有以下突出的有益效果：所述基于深度学习构建多任务计算机视觉应用服务的方法快速构建深度学习模型的应用实例，降低深度学习的实现难度，提升开发效率；采用微服务框架，这样的设计让部署更加简单，无论是在Ubuntu裸机集群还是在云服务器上，仅需运行几个脚本即可完成部署；提供了GPU资源的统筹调度，优化了硬件资源的使用效率，减少的开发成本；提供了AI任务在线调试、错误报警、日志管理、性能检测等功能，显著降低了AI平台的日常运维难度；提供了友好的用户界面，操作简单，便于用户进行集群监控、任务提交等，具有良好的推广应用价值。

具体实施方式

下面将结合实施例，对本发明的基于深度学习构建多任务计算机视觉应用服务的方法作进一步详细说明。

实施例

本发明的基于深度学习构建多任务计算机视觉应用服务的方法包括以下步骤：

S1、定义应用服务的数据输入数据源格式。

该方法能够支持多种数据源作为深度学习应用服务的数据输入，包括单个图片、图片流、视频文件、实时视频等数据，并且可自动兼容图片格式和视频流格式数据。可将单个图片、视频文件作为数据源以Http+Restful方式同步请求推理结果，也可支持实时图片流和实时视频流作为数据源以任务方式下发异步请求推理结果，并将推理结果以Kafka方式推出。将单个图片作为数据输入源，以HTTP+Restful为请求方式同步请求推理结果。以图片流作为数据输入源，以人物方式下发请求，将推理结果以推理流方式输出，使用Kafka作为流传输介质。以实时视频流作为数据输入源，以任务方式下发请求，将推理结果以推理流方式输出，使用Kafka作为流传输介质。

S2、定义GPU资源调度规则，实现按需自动分配GPU资源。

支持自定义调度规则，提供多种API接口。可将容器作为封装的、独立部署的组件，利用操作系统级别的虚拟化，以隔离的实例运行在相同的内核之上，能够非常快速的启动所输出的应用实例；本方法也可通过RestfulAPI接口输出模型应用结果。

在深度学习负载下，GPU资源合理分配是非常重要的，该方法提供了针对GPU优化的调度算法规则库，用户可根据模型实际情况选择器调度规则，并且也可以自定义GPU调度规则，可为推理服务作业的运行保驾护航。

S3、定义服务内部总线。

内部总线服务基于微服务框架，支持云原生，在内部总线服务传递业务数据、模型数据、控制数据和告警数据，且内部总线服务提供订阅、广播、点对点及点对多的传输方式。

S4、定义模型编排流水线。

用户可创建多个插件，并按顺序将其串连起来，构成一个完整的流水线，编排多个模型到一个流水线，一个流水线对应一个模型为主检测模型。多个插件组成一个容器，容器管理多个插件，改变容器状态，则容器自动修改所包含的插件的状态。

可提供丰富的插件服务，用户可创建多个插件，并按顺序将其串连起来，构成一个完整的流水线，自动实例化后即可输出深度学习模型的应用结果。

S5、应用服务的容器化部署和运维。

支持容器化部署，提供硬件、服务、作业的多级监控，提供AI任务在线调试、错误报警、日志管理和性能检测。

该基于深度学习构建多任务计算机视觉应用服务的方法通过创新的运行环境支持，对于多种深度学习框架如CNTK、TensorFlow、PyTorch等无需修改即可运行；并且其基于Docker的架构则让用户可以方便地扩展更多AI与大数据框架。支持多种数据源作为深度学习应用服务的数据输入，可自动兼容数据格式；可扩展支撑更多AI和大数据框架，对于多种深度学习框架如CNTK、TensorFlow、PyTorch等无需修改即可运行；支持自定义模型编排流水线，通过选择相应的功能插件自定义模型编排流程来实现其多模型多任务的编排应用；并且支持多种方式输出应用结果，方便了用户的对接和扩展；该方法通过对GPU资源统筹调度增加了GPU的利用率，提高了推理效率，减少了推理成本；并且该方法提供丰富的运营、监控、调试功能，降低了运维复杂度。同时该基于深度学习构建多任务计算机视觉应用服务的方法可提供硬件、服务、作业的多级监控，同时提供了AI任务在线调试、错误报警、日志管理、性能检测等功能，降低了运维复杂度和门槛。

以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。