基于遗传算法的Hadoop作业调度模型性能评价

摘要

大数据分析应用程序是一种新的处理大量数据的应用软件,使用可扩展的并行处理的基础架构获得隐藏的价值.大数据分析工作通常是连续的,而不是相互分离的.现有的工作主要关注于顺序执行作业,往往效率低下,能量消耗大.为了提高大数据分析的效率,文章提出了 一种基于遗传算法的大数据分析作业调度模型.为了实现作业调度模型,利用一个评价模块来预测集群在执行分析工作时的性能,并从可行性和准确性两个方面对所提出的作业调度模型进行了评价.