云原生存储工具的选型和应用探讨

• 敏捷化需求：可以灵活的将块设备在不同节点进行快速的挂载切换；提供存储服务的问题自动修复能力，减少人为干预；提供更加灵活的卷大小配置能力。

  
  

• 监控需求：提供更细粒度（目录）的监控能力；提供更多维度的监控指标，如读写时延、读写频率、IO分布等指标。

  
  

• 租户隔离需求：让共享文件系统的不同租户之间实现文件系统级别的隔离效果；容器编排层实现基于名词空间、PSP策略的编排隔离能力，保证不同租户从应用部署侧即无法访问其他租户的存储卷服务。

• 公有云存储：基于公有云的对象存储、块存储、文件存储、数据库，在稳定性、性能、扩展性方面都能轻松满足业务需求。

  
  

• 商业化私有云存储：很多云存储提供商都是在存储技术上深耕多年，具有优异的技术能力和运维能力，目前都已提供了云原生的支持。

  
  

• 自建云存储：基于一些开源的架构，在自己的物理机系统搭建私有的云存储服务，如Ceph、GlusterFS等。

  
  

• 开源容器存储：设计之初既充分考虑了存储与云原生编排系统的融合，具有很好的容器数据卷接入能力，Longhorn^[1]、OpenEBS^[2]。

• 基于云原生社区重新造轮子--原生方案：基于容器化和k8s的应用场景，单独开发一套比较轻量的分布式存储系统。典型的开源项目有Longhorn、OpenEBS。

  
  

• 移植传统的分布式存储--移植方案：基于传统的分布式存储框架，进行容器化和k8s的编排，移植到k8s集群中部署。典型的开源项目有rook+ceph^[3]、heketi+glusterfs^[4]、minio^[5]。

3.1 Longhorn云原生存储

Longhorn最早由Rancher社区创建和开发，完全使用容器和微服务实现分布式块存储。Longhorn为每个块设备卷创建一个专用的存储控制器，并在跨多个节点上存储的多个副本同步复制该卷。存储控制器和副本本身使用Kubernetes进行编排。

Longhorn设计有两层：数据平面(data plane)和控制平面(control plane)。Longhorn Engine是存储控制器对应数据平面，Longhorn Manager对应控制平面。

3.2 OpenEBS云原生存储

OpenEBS是kubernetes下与容器原生和容器附加存储类型相关的开源项目之一，由CloudByte最早研发，并开源到CNCF。基于GO语言进行开发，通过为每个工作负载指定专用的存储控制器，OpenEBS遵循容器附加存储或CAS的原则，允许操作员和管理员根据工作量动态调整卷的大小。

OpenEbs分为了控制面板和数据面板，其中：

3.3 Rook+Ceph容器化存储

Rook本身并不是一个分布式存储系统，而是利用Kubernetes平台的强大功能，通过Kubernetes Operator为每个存储提供商提供服务。它将分布式存储系统转变为自我管理、自我扩展、自我修复的存储服务。

Ceph是圣克鲁兹加利福尼亚大学的sage weil在2003年开发的，也是他的博士项目的一部分。初始原型是大约4万行c++代码的ceph文件系统，2006年遵循LGPL协议进行开源。

Ceph架构主要有两个核心模块：监视器(MON)、存储器(OSD)。此外还包括了一个基于aws s3的对象存储网关RadosGW；块存储、文件存储相关的系统插件。其中：

Rook+Ceph的组合解决方案是目前比较成熟的一套Ceph容器化部署移植方案，Rook在其中主要完成Ceph集群的初始化和状态挂你、Kubernetes对接的工作，真正的存储业务逻辑都还是由容器化运行的Ceph集群来实现。

3.4 开源容器化存储项目特性的横向比较

在笔者的测试环境依次对以上三个开源容器化存储工具的功能和性能测试情况来看，三者的比较情况如下表1所示：

表1

笔者所在项目综合考虑了三者的优缺点、磁盘性能损耗和维护复杂度后，认为Longhorn不支持条带化的缺点可以通过挂载Linux卷组的方式予以规避，所以最终选择使用Longhorn。