基于算子作用域动态感知的弹性资源分配方法及装置

摘要

本发明公开了一种基于算子作用域动态感知的弹性资源分配方法及装置。所述方法包括：构建数据流处理应用的有向无环图，所述有向无环图中的节点表示处理数据流的算子，边表示数据流；根据算子的静态筛选率指标和动态筛选率统计指标来评估上游算子的作用域，自适应地将有向无环图进行分区。预测每个分区未来一段时间的负载；针对每个所述分区中的各算子，基于所述负载生成相应数量的算子实例，以对所述接收数据进行实时处理，满足服务质量要求。本发明以分区为单位规划算子的并行性，从而保证端到端处理延迟，提升资源利用率。