基于谓词的大数据抽样技术研究

摘要

为解决大数据抽样问题,采用MapReduce产生内容满足给定谓词的固定规模样本,并扩展了默认的Hadoop[1]设置,使其支持作业按需动态管理其资源消耗以解决MapReduce进程中的资源浪费问题。实验结果证明：本文所提策略的执行性能优于默认的Hadoop,从而证明MapReduce解决大数据抽样问题的可行性和有效性。