1.3.3 大数据的计算模式

分布式数据处理技术一方面与分布式存储形式直接相关，另一方面也与业务数据的温度类型（冷数据、热数据）相关。目前主要的数据处理计算模型包括MapReduce计算模型、DAG计算模型、BSP计算模型等。

MapReduce是一个高性能的批处理分布式计算框架，用于对海量数据进行并行分析和处理。与传统数据库和分析技术相比，MapReduce适合处理各种类型的数据，包括结构化、半结构化和非结构化数据，并且可以处理数据量为TB和PB级别的超大规模数据。Hadoop实现的MapReduce开源框架是这种技术的代表。

分布式共享内存进行计算，可以有效地减少数据读写和移动的开销，极大地提高数据处理的性能。支持基于内存的数据计算、兼容多种分布式计算框架的通用计算平台，是大数据领域所必需的重要关键技术。Spark是这种技术的开源实现代表。

大数据的实时处理是一个很有挑战性的工作，数据流本身具有持续到达、速度快且规模巨大等特点，所以需要分布式的流计算技术对数据流进行实时处理。Storm是这种技术的开源实现代表。