一种hadoop集群运行ETL流程的实时监控方法及装置

摘要

本发明涉及数据处理技术领域，具体涉及一种hadoop集群运行ETL流程的实时监控方法及装置，其中方法包括：ETL hadoop引擎启动时部署监控端RPC服务，以便各container访问，进而通知监控端流程运行状态、节点运行状态以及节点运行统计信息；container启动时部署container RPC服务并向监控端注册，以便监控端间隔访问container RPC服务，进而刷新container内部各节点的运行统计信息。通过在监控端和各container部署RPC服务，监控端和container之间可互相访问，从而准确掌握流程运行速度，有效解决分布式ETL框架中的流程监控和信息汇总的问题。