分布式数据处理系统中缓解内存压力的调度方法和系统

摘要

本发明公开了一种分布式数据处理系统中减缓内存压力的调度方法，包括：根据用户编程接口对键值对的操作特点分析内存使用规律，建立数据处理系统中的用户编程接口的内存使用模型；根据任务调用编程接口的顺序推测任务的内存使用模型；利用内存占用增长率区分不同的模型；根据当前运行的任务的内存使用模型和处理数据量，在内存压力大时预估每个任务对内存压力的影响，挂起影响大的任务，直到影响小的任务执行完成或者内存压力被释放。本发明通过在数据处理系统中实时监控和分析运行时的所有任务对内存压力的影响，提高了服务系统的可扩展性。