用大数据武装”云”：基于云计算的大数据处理技术

摘要

随着互联网、移动互联网和物联网的发展，我们已经迎来了数据大爆炸的时代，数据的快速增长带来了数据存储、处理、分析的巨大压力，而大数据技术（Big data）的引入，不但满足了系统功能和性能的要求，带来良好的可扩展性，降低了 IT 部署的成本，还拓展了数据智能分析的应用领域。同时，大数据分析与云计算的发展密切相关，云计算是大数据处理的基础，而大数据技术是云计算的延伸，云计算的分布式存储和计算架构为大数据的快速处理和智能分析提供了一种合适的解决方案。本文将探讨建立在云计算基础上的大数据处理技术，包括分布式计算框架、分布式文件系统、大数据管理技术、实时流数据处理、机器学习以及可视化技术等。