大数据环境下准确验证计算模型效率的方法

摘要

随着开源大数据技术的快速发展,许多新的大数据技术的得到商用,大数据计算模型更是发展迅速。传统认为,大数据具有3V特性,即Volume（海量）、Velocity（高速）和Variety（多样）,同时大数据还面临Value（价值）和Veracity（精确）的挑战。如何客观地比较不同数据计算模型效率,即大数据测试基准的选择,成为一个重要的研究课题。事务性能管理委员会（TPC）是目前最知名的数据管理系统评测基准标准化组织他们发布的多款基准测试案例,在业内具有很高的认可度。Apache开源社区针对大数据架构也发布了多款性能测试用例,如Test DFSIO、Tera Sort。为了提出一种准确验证大数据计算模型效率的方法,本文将在分析总结现有成果的基础上,进一步对比现有的大数据测试基准,然后重点讨论TPC-DS测试基准和Big Bench测试。本文提出的方法,能够准确的验证大数据计算模型效率。