美团存储云原生探索和实践

云原生技术使组织能够在新式动态环境（如公有云、私有云和混合云）中构建和运行可缩放的应用程序。容器、服务网格、微服务、不可变基础结构和声明性API便是此方法的范例。

这些技术实现了可复原、可管理且可观察的松散耦合系统。它们与强大的自动化相结合，使工程师能够在尽量减少工作量的情况下，以可预测的方式频繁地进行具有重大影响力的更改。——“云原生计算基金会”

总结来说，云原生技术具有敏捷性、灵活性、可靠性、可伸缩等特点，为企业提供了巨大的生产力，这也是公司近几年基础架构的迭代方向。

当前，美团基础架构为存算一体架构，存储系统正面临如下问题：

存储扩展能力弱：在计算资源达到瓶颈需要扩容时，仍然需要迁移数据，迁移数据的时间跟数据量线性相关，所以，对于数据量较大的业务，扩容操作时间会很长。

机器成本高：存储计算资源耦合在一起，如果集群因为CPU计算能力达到瓶颈，我们就需要扩容，而往往这时节点的硬盘空间还很空闲。反之亦然，存储和计算资源经常会有一方存在机器资源浪费。

重复研发和运维成本高：这些存储组件基本上要考虑副本冗余、副本数据一致性、数据正确性校验，副本缺失补副本，扩容缩容等问题，因此存在着重复研发和运维问题。

不能很好的满足业务多样化需求：比如我们现在需要提供一个分布式文件系统服务，基本上我们需要从零开始研发，研发进度会很慢，不能很好的满足业务的需要。

以上这些问题阻碍了公司云原生的建设，因此，我们设计并建设了存储与计算分离的系统，来更好的满足云原生的迭代。

优势

扩展能力强：上层存储服务模块实现无状态化设计，可实现秒级扩缩容，无需数据迁移。

产品快速迭代：基于底座，可以最大程度复用其通用存储能力，来适应业务需求，快速开发出新的存储产品

降本增效：存储计算分离，避免了集群的存储、计算资源错配造成的资源浪费。统一底座服务使得上层存储无需重复研发数据分布、副本、容灾等机制，大幅降低研发成本。

挑战：

稳定性：作为其他存储底层的底座存储，一旦出现稳定性问题，将会影响其他所有存储服务，进而影响到上层业务。

性能：分层架构后，相对于存算一体的服务，增加了一跳的网络延迟。存储底座的吞吐很大程度上也决定了上层存储服务的吞吐。

针对上述优势和挑战，最终我们采用了分布式存储底座MStore的技术架构。MStore设计目标是为各种存储服务抽象出公共底座，提供似Posix的简单文件接口，对接块存储系统、文件存储系统、对象存储、表格存储、数据库、大数据等业务。

MStore存储系统有4个子系统：RootServer、MetaServer、ChunkServer、SDK。

RootServer：集群的入口，管理着整个集群中资源信息，包括MetaServer、ChunkServer、磁盘等信息。

MetaServer：管理着用户数据的元信息，包括Blob、Blob由哪些Chunk构成，Chunk和ChunkServer的映射关系等。MetaServer在集群中可以有多组，使得元信息管理能水平扩展。

ChunkServer：用户数据存储服务，对用户数据的序列化存储、校验。接受用户读写请求，接受MetaServer数据复制、负载均衡等请求。

SDK：提供给用户的Library，用户可以通过链接这个Library访问MStore的存储服务，类文件系统API。

Blob是Mstore提供给用户使用的对象，类似于文件。Blob是由多个Chunk组成，以便将Blob做分布式存储，Chunk的大小默认为64M。

为了满足不用的应用场景，目前我们提供两种类型的Blob，LogBlob用于支持追加写、ExtentBlob用于支持随机写。系统通常是将数据写到LogBlob，然后后台回刷到ExtentBlob。

PhysicalPool是物理磁盘的集合，一个集群可以包含多个物理Pool，一般一个Pool中的资源规格是一样的。

LogicalPool是对物理资源上的逻辑划分，一个物理Pool中可以创建多个逻辑Pool。

LogicalPool概念是暴露给用户的，用户可以根据自己的需要对业务做逻辑Pool的划分。

LogicalPool为单位定义QoS，包括服务能力的上限、下限、权重等。

控制流方向，SDK不会频繁和RootServer和MetaServer交互，只有在申请新Chunk是才去交互。

数据流方向，SDK采用并发同步写三副本的方式，保证数据强一致，架构上更简单，相比Raft等共识协议减少了网络一跳，降低延迟。

星型写不支持多点，上层服务需要控制对其数据的多点读写请求。

快速切换技术，在星型写三副本失败时，不需要马上修复数据，通过快速重定向到新的三副本使得故障瞬间恢复。

对磁盘存储格式的优化设计，使得每次磁盘请求只产生一次IO，这是性能优于Ceph的原因。

用户请求边界保存在存储格式的Header结构中，使得异常恢复时能区分请求的边界，实现写请求的原子性。

此外存储格式的Header中还保存了数据的CRC信息，保证数据的正确性。

存储格式Header包含以下字段：

1.prev_size前一个请求的size

Blob只能单点写，通过租约机制做互斥。

Blob支持多点读，由用户负责同步多个节点的版本。

为了增加系统并发度，RTC模型仍然是多线程的。不需要互斥的请求（Req1），在本线程执行完毕。

需要互斥的请求（Req2、Req3、Req4），这些请求由第一个请求所在线程处理。程序保持简单，模块从上到下以同步的方式调用。

利用C++的RAII技术，在请求析构过程回调执行链表下一个请求，将异步动作收敛在一处。

基于以上结论，我们研发了用户态文件系统（裸盘系统），它设计成针对Blob特点的磁盘管理方式，简单、高效。我们在裸盘系统下抽象出BlockDevice层，使其能适配不同的设备，如SPDK、IOuring等。目前我们使用SPDK作为磁盘驱动，实现ChunkServer全栈用户态。

裸盘系统的元数据包括，SuperBlock区、BlockTable区、ChunkTable区，Padding区是预留的未使用空间，剩下的是数据区。

SuperBlock区：裸盘系统的整体信息，磁盘号、是否格式化、Block数量、Chunk数量等。

BlockTable区：记录系统数据块的分配情况。

ChunkTable区：记录系统Chunk的分配情况。

Chunk在创建时候在ChunkTable申请一个存储区域，记录Chunk的元信息，删除Chunk的时候归还这块区域给ChunkTable。

Chunk在写入数据的时候会在BlockTable里面申请一个Block，删除Chunk的时候会把Chunk的所有Block归还给BlockTable。

Chunk的Block按照写入的顺序以邻接表的形式保存在BlockTable中。

EBS系统（块存储）是应用在MStore的第一个项目。EBS有4个子系统：BlockMaster、BlockServer、Client、SnapshotServer。

BlockMaster：块服务的管理节点，维护块设备的元信息，分配BlockServer。简称BM。

BlockServer：块服务的数据处理节点，接收块设备的所有IO。简称BS。

Client：块设备的客户端。

SnapshotServer：块服务的快照服务器。简称SS。

业界对标：

每个Segment又划分成多个Entry，每个Entry对应MStore的一个ExtentBlob。

这样组织数据的好处是：

1、将多个Entry的随机写转化成一路顺序写，起到group commit的作用。

2、每个Entry对应一个ExtentBlob，这样多个Entry之间没有联系，回刷能并行执行。

3、在读取的时候如果一个请求跨越几个Entry，这几个Entry之间也可以并发的去读。

BlockServer处理请求先将数据写入WAL之后回刷到Entry里面，为了保证回刷前的数据可读到，需要在WAL之上建立索引。

索引是全内存缓存的，索引结构由UpdateTable+BaseTable组成。UpdateTable是可以读写的（Mutable），BaseTable是只读的（Immutable）。

定期做Checkpoint有利于系统重启快速恢复，会生成一个新的SecondaryUpdateTable，旧的UpdateTable变为只读，和原来的BaseTable合并生成一个新的BaseTable。

这么设计索引的好处是，BlockServer的操作都针对只读的BaseTable操作，简化程序处理，减少操作BaseTable的锁竞争，有利于性能。

BlockServer会定期把WAL的数据回刷到Entry里面，按照LogBlob从头到尾顺序回刷。实现过程要注意几个时间点，才能保证各子系统能正确工作：

1、最旧的Log点、2、Dump的起始点、3、Dump的结束点、4、索引Checkpoint点、5、最新Log点。时间顺序：1<=2<=3<=4<=5。

Log回收区：【最旧的Log点，Dump的起始点），这个区间的Log可以随时被回收掉。

Dump数据区：【Dump的起始点，Dump的结束点），这个区间是Dump操作正在作用的区间。

索引BaseTable表示的区间：【最旧的Log点，Checkpoint点），这个区间表示Checkpoint点之前的所有数据的索引，涉及WAL+Entry。

索引UpdateTable表示的区间：【Checkpoint点，最新Log点），这个区间表示Checkpoint点之后的所有数据的索引，只涉及WAL。

美团存储技术中心技术专家

专注于kv存储、数据库、存储等领域的研发工作，曾就职于京东、百度、头条等互联网公司。于2020年加入美团，致力于美团新一代统一存储MStore的建设工作。