集中式存储vs分布式存储

计算机体系结构及底层原理

过去几年中，企业级存储设备主要采用集中式存储架构。集中式存储是一种具有集中性的存储方式，整个存储系统集中在一个系统中。尽管集中式存储并非单独的设备，而是由多个设备组成的系统，以EMC 公司的VMAX存储系统为例，可能需要多个机柜来容纳整个存储系统。

图1展示了集中式存储的物理示意图。

在集中式存储系统中，包含多个组件，除了核心的机头（控制器）、磁盘阵列（JBOD）和交换机等设备，还包括管理设备等辅助设备。

图2展示了集中式存储的基本逻辑示意图。

通常，集中式存储包含一个机头EMC 产品里面叫Engine ，这是存储系统中最关键的部件。机头通常包含两个控制器，实现互备功能，以防止硬件故障导致整个存储系统不可用。机头还包括前端端口和后端端口。前端端口用于为服务器提供存储服务，后端端口用于扩展存储系统的容量。通过后端端口，机头可以连接更多的存储设备，形成一个庞大的存储资源池。

机头是整个存储系统的核心组件，承载着存储系统的高级功能。控制器的软件负责管理磁盘，将其抽象为存储资源池，并将其划分为逻辑单元（LUN），供服务器使用。在服务器上，LUN实际上是可见的磁盘。此外，一些集中式存储还可以作为文件服务器，为服务器提供共享文件服务。总之，集中式存储的最大特点是具有统一的入口，所有数据必须经过存储系统的机头。

▉ 分布式存储

分布式存储是一个广义的概念，涵盖了许多类型，包括传统的分布式文件系统、分布式块存储、分布式对象存储，以及分布式数据库和分布式缓存等。本文主要关注传统意义上的分布式文件系统等存储架构，不涉及数据库等方面的介绍。

▉ 中心控制节点架构（HDFS）

分布式存储最早由谷歌提出，其目的是通过廉价服务器提供适用于大规模高并发Web访问的解决方案。图3展示了谷歌分布式文件系统（HDFS）的简化模型。在该架构中，服务器被分为两种类型：名称节点（namenode）和数据节点（datanode）。名称节点负责管理数据的元数据，而数据节点负责实际数据的管理。

图3

在HDFS分布式存储中，如果客户端需要读取某个文件的数据，首先会向名称节点请求该文件的位置信息（即具体在哪个数据节点），然后直接与该数据节点通信来获取数据。在该架构中，名称节点通常以主备部署方式运行，而数据节点构成一个集群。由于对元数据的访问频率和访问量远远小于数据访问量，因此名称节点通常不会成为性能瓶颈，而数据节点集群可以分担客户端请求。通过这种分布式存储架构，可以通过横向扩展数据节点的数量来增加负载能力，实现动态横向扩展的能力。

▉ 完全去中心化架构 - 计算模式（Ceph）

图4展示了Ceph存储系统的架构，与HDFS的区别在于没有中心节点。客户端通过计算确定数据的存储位置，直接与存储节点通信，避免了中心节点的性能瓶颈。

在Ceph存储系统架构中，核心组件包括Monitor服务、OSD服务和MDS服务等。对于块存储类型，只需要Monitor服务、OSD服务和客户端软件。Monitor服务用于维护存储系统的硬件逻辑关系，主要是在线信息，如服务器和硬盘。Monitor服务通过集群方式确保其服务的可用性。OSD服务用于管理磁盘，实现实际的数据读写，通常一个磁盘对应一个OSD服务。

客户端访问存储的大致流程如下：客户端启动后，首先从Monitor服务获取存储资源布局信息，然后根据布局信息和要写入数据的名称等信息计算出数据的位置（包括具体的物理服务器和磁盘信息），然后直接与该位置通信以读取或写入数据。

图5 Ceph架构

▉ 完全去中心化架构 - 一致性哈希（Swift）

与Ceph通过计算方式获取数据位置的方式不同，另一种方式是使用一致性哈希。一致性哈希将设备构建为一个哈希环，根据数据名称的哈希值将其映射到环上的某个位置，从而确定数据的位置。

图6展示了一致性哈希的基本原理。

为了简化，本文以服务器上的一个磁盘为例进行说明。为了确保数据分配均匀性和在设备故障时的数据迁移均衡性，一致性哈希将磁盘划分为多个虚拟分区，每个虚拟分区是哈希环上的一个节点。整个环是一个从0到最大32位值的区间，首尾相连。当计算出数据（或数据名称）的哈希值后，它必定落在哈希环的某个区间内，然后沿顺时针方向，一定能够找到一个节点，该节点即为数据的存储位置。

假设集群此时要添加一个节点N4, 在N1,N2中间,那么,按照顺时针计算的方法,原本存储到节点N2上的关键字a 将转移到N4上,其他不变.

Swift存储的数据定位算法基于上述一致性哈希实现。在Swift对象存储中，通过帐户名/容器名/对象名这三个名称来标识位置，根据这个唯一标识可以计算出一个整数。在存储设备方面，Swift构建了一个虚拟分区表，表的大小在集群创建时确定（通常为几十万个）。这个表实际上是一个数组。通过计算得到的整数值以及这个数组，通过一致性哈希算法可以确定该整数在数组中的位置。数组中的每个条目都包含数据的三个副本（或其他副本数量）的设备信息（包括服务器和磁盘信息）。换句话说，通过上述计算可以确定数据的具体存储位置。这样，Swift可以将请求重定向到相应的设备进行处理。

上述计算过程在一个名为Proxy的服务中进行，该服务可以部署为集群。因此，请求负载可以分摊，不会成为性能瓶颈。

本文介绍了三种最常见的分布式存储架构和存储形式。其他存储架构基本上都基于这些架构，没有太大的变化。因此，一旦理解了这些架构，就可以更好地理解其他分布式存储架构。

继续滑动看下一个