| 1.1 大数据存储系统简介 |

本书将讨论大数据存储系统的相关技术以及最新的研究成果。大数据处理系统的基础部分就是大数据存储，其中文件系统的存储是大数据存储最基本的部分。大数据概念的提出是从网络大数据开始的，搜索引擎是网络大数据处理的典型重要应用。当然，当前的大数据应用范围有了很大的扩展，大数据存储不仅包括网页的存储，也包括更加广泛的其他一般性的数据存储。可以这样说，凡是需要保存大量数据的，都可以被称为大数据存储。

大数据存储的具体应用如下。

（1）大量互联网数据的存储

互联网数据的存储可以被认为是大数据的第一个应用，推动了大数据技术本身的发展。互联网数据的规模庞大，需要大量的存储和处理能力。这推动了大数据处理技术（包括大数据存储技术、大数据分析技术、大数据查询可视化等）的形成。互联网数据已经对人类的生产、生活和社会关系产生了重要的影响。大数据存储首先需要应对的就是大量互联网数据的存储。

（2）大量个人数据、组织与机构数据的存储

数字化生活导致各种个人电子设备层出不穷，手机、数码相机等都会产生大量的个人数据。在平时的工作和生活中，时时刻刻都在产生大量的个人数据，如在工作中使用的信息系统，几乎把工作过程中产生的数据都进行了保存，以备之后进行处理。随着越来越多的公司以及机构接入互联网中，组织和机构的数据规模也开始变得非常庞大，这部分的数据存储也成为大数据存储的重要组成部分。

（3）科学计算的计算流程与计算结果的存储

数据一直是科学计算一个非常重要的组成部分。随着高性能计算机性能的不断提高，很多科学实验会产生大量的数据，这也需要大数据处理技术的支持，以便对数据的最终结果进行计算，以及对其物理意义进行解释。科学计算所需要的数据以及计算的结果也成为大数据存储非常重要的组成部分。

（4）数据挖掘与人工智能

很多新一代的应用需要对数据进行处理，以获取数据包含的知识。这一类应用包括数据挖掘以及人工智能。如果没有大数据处理技术，很多数据挖掘和人工智能的应用无法实现。举一个直观的例子，人工智能中有一类非常重要的应用，即图像物体识别，包括从视频中分析出人脸，之后还可以进行分析追踪。如果没有大数据处理技术，那么人脸识别是不可能实现的。大量的数据都需要被保存下来，以便进行后续的分析。

（5）数据归档

这一类的应用体现还不是很明显。但是数据归档对于保存数据来说，是非常重要的。数据归档可以将一部分当前不需要的数据保存到一个不容易丢失的位置。数据归档不是单纯地保存数据，还要为数据建立索引，以便在需要的时候快速找到相应的数据。

上述应用只是大数据存储应用的一个极小的部分。大数据的应用不局限于上面讨论的各种应用，实际上大数据的应用已经体现在各个方面。大数据存储是大数据应用最为重要的组成部分，没有大数据存储，大数据的应用就无从谈起。

本书主要介绍大数据存储的各种体现形式，以及大数据存储在各个具体方向的进展。下面首先从大数据存储的基本形式着手介绍大数据存储。