一种基于嵌入式jetty和spark on yarn框架的资源管控方法

摘要

本发明公开了一种基于嵌入式jetty和spark on yarn框架的资源管控方法，包括如下步骤：(1)搭建hadoop集群和spark集群，部署前后台tomcat服务器；(2)用户向系统发起spark应用申请资源请求；(3)后台tomcat接收请求，通过submit方法启动Jetty服务，加载servlet，生成常驻进程；启动消息队列，初始化spark上下文生成spark应用，并最终将应用提交到yarn集群中；(4)后台tomcat将启动应用结果返回给前台tomcat；(5)前台tomcat发送后续spark任务提交到后台应用的Jetty常驻进程；(6)后台任务常驻进程接受并执行任务，返回给用户最终结果。本发明的有益效果为：用户可以将多个spark应用资源从一个yarn资源队列中申请，保证了资源利用最大化；多个不同应用下的后续任务可以同时执行。