分布式存储是什么?

分布式存储是现代基础设施处理海量、高关键性或高并发访问数据的方式,这些数据单台机器无法可靠地承载。系统不会把所有数据写入单台服务器,而是将数据拆分、复制或编码后分布到多个独立节点上,这些节点可以是服务器、硬盘或数据中心。节点协同工作,但没有任何一个节点保存全部数据。即使拔掉其中一个,其余节点仍能继续提供服务。本指南将介绍分布式存储系统在高负载下的实际表现,它们带来的架构权衡,以及不同类型的存储适合哪些工作负载。
AI 摘要
分布式存储是一种软件定义的架构,它通过三项核心技术将数据划分到多个物理节点上:分片(将数据切分为离散的数据块,并路由到不同节点)、复制(在多个节点上保存相同副本,以实现快速访问)以及纠删码(将数据编码为带有数学校验信息的片段,使其中任意子集都能重建完整数据)。
分布式存储系统主要有三种类型:对象存储(扁平命名空间,兼容 S3 API)、块存储(固定大小的卷,适用于低延迟的随机 I/O)以及文件存储(通过 NFS 或 SMB 提供层级命名空间)。任何分布式数据存储方案都会受到 CAP 定理的约束,即系统在一致性、可用性和分区容错性三者之中,同时只能保证其中两项。
分布式存储在运维上的核心优势在于,单个节点故障不会导致服务中断,系统会自动将请求转移到仍在运行的副本上。
问题的规模也很惊人:人类每天产生超过 4 亿 TB 的新数据。这样的数据量,任何集中式架构最终都会因自身重量而不堪重负。
分布式存储与集中式存储
集中式存储将所有数据放在同一个位置,即一台服务器、一个 SAN、一座数据中心,模式就是如此简单。一旦该位置出现问题,所有服务都会停止。分布式存储则直接针对这一问题:数据分布在多个独立节点上,因此没有任何单点故障能让整个系统下线或阻断全部访问。
一旦硬件故障,访问就会中断,没有任何余地。扩容则意味着升级或更换主系统,这通常需要停机,还会引发一场没人愿意面对的资本支出讨论。分布式存储从设计上就避开了这两个问题:要扩展容量,只需添加节点;当某个节点故障时,集群会自动绕开它。没有混乱,也不会中断服务。在故障发生之前,数据就已经分布在多个节点上了。
| 维度 | 集中式存储 | 分布式存储 |
|---|---|---|
| 容错能力 | 单点故障 | 单个节点丢失后数据仍可保留 |
| 可扩展性 | 纵向扩展(升级硬件) | 横向扩展(增加节点) |
| 延迟 | 本地访问延迟低 | 可变,取决于网络拓扑 |
| 小规模成本 | 前期成本较低 | 最小可用集群的门槛较高 |
| 大规模成本 | 扩展成本高 | 通用硬件可降低成本 |
| 地理分布 | 单一地点 | 可通过配置实现多区域部署 |
| 运维复杂度 | 管理简单 | 需要编排工具 |
分布式存储系统如何工作
分布式存储系统接收传入的数据,将其切分为数据块,把这些数据块路由到集群中的正确节点,并通过元数据层追踪每一个数据片段。这样,无论某个片段存放在哪个节点上,都能按需定位、读取并重组。这是它的基本运行循环。其背后有四项机制支撑:
- 分片(数据分区) 数据写入时,系统会将其切割为更小的分片或数据块,并分散到各个节点上。这正是并行 I/O 的来源:多个节点可以同时处理读写,因此吞吐量会随集群规模增长,而不会受限于单台机器的上限。路由逻辑通常采用一致性哈希,它能在集群扩展时保持数据分布均匀,而不必在每次添加节点时重新打乱所有数据。
- 复制 这是一种朴素但有效的方法:在不同节点上保存每个分片的 N 份相同副本,通常为三份。当某个节点离线时,另外两个副本立即继续提供服务,无需重建,也无需等待。复制最适合热数据,例如活跃数据库、实时数据流,以及任何读取时多出一毫秒都会带来实际代价的场景。
- 纠删码 纠删码是存储效率计算变得有趣的地方。系统不再保存三份完整副本,而是将一个对象编码为 $k$ 个数据片段加上 $m$ 个校验片段,把全部 $k+m$ 个片段分布到各个节点上,并且 只需其中任意 $k$ 个即可重建完整对象。因此,即使 $m$ 个节点同时故障,数据也不会丢失。Reed-Solomon RS(6,3) 配置只需存储 9 个数据块,而三副本复制则需要 18 个,可将原始存储开销从 200% 降至约 50%。不过,编码和解码会消耗 CPU 资源,而且纠删码更适合冷数据,即很少修改或访问频率不高的内容。对于频繁进行小规模写入的工作负载,三副本复制在延迟方面仍然更有优势。
| 保护方式 | 存储开销 | 适用场景 | 权衡 |
|---|---|---|---|
| 三副本复制 | 3 倍原始容量 | 热数据、低延迟工作负载 | 规模扩大后存储成本高 |
| 纠删码 RS(6,3) | 1.5 倍原始容量 | 冷数据、归档、大型对象 | CPU 开销大,重建延迟较高 |
- 元数据路由 每个分布式存储系统都会维护一个元数据层,本质上是一张记录分片位于哪个节点的映射表。客户端请求数据时,元数据服务会定位正确的节点,系统随后读取并重组各个片段,客户端完全无需了解其中的复杂过程。在 Ceph 或 HDFS 这类大规模集群中,元数据层本身也分布在多个节点上,而且必须如此。单一元数据服务器会成为你原本想要摆脱的瓶颈。
分布式存储系统的类型
分布式存储并非单一事物,而是一个包含三种不同数据模型的类别。为工作负载选错类型,是一个出人意料地 常见且代价高昂的错误。对象存储、块存储和文件存储各自解决不同的问题。分布式数据库(如 Cassandra、CockroachDB、Google Spanner)代表了第四种类型,它在分布式数据管理之上叠加了查询语义,但这属于另一个话题。

| 类型 | 数据存储方式 | 访问方式 | 适用场景 | 示例 |
|---|---|---|---|---|
| 对象 | 扁平命名空间,元数据丰富的对象 | 兼容 S3 的 API(HTTP/HTTPS) | 大规模非结构化数据:备份、媒体文件、机器学习数据集 | AWS S3、MinIO、Ceph RADOS |
| 块 | 固定大小的原始卷 | iSCSI、NVMe-oF、FC | 数据库、虚拟机、低延迟随机 I/O | Ceph RBD、AWS EBS、Lightbits |
| 文件 | 层级目录树 | NFS、SMB、POSIX | 共享文件系统、高性能计算、家目录 | GlusterFS、HDFS、Azure Files |
分布式对象存储
分布式对象存储将数据组织为独立的、不可变的对象,并放在扁平命名空间中,没有目录、没有文件路径,也无需维护层级结构。每个对象都有唯一标识符(哈希值或 UUID)以及丰富的元数据,你可以通过基于 HTTP 的 S3 兼容 API 访问它。由于对象是整体替换,而不是部分更新,因此块存储和文件系统中那些制约性能、限制可扩展性的锁问题就此消失。这也正是 AWS S3、Azure Blob 和 Ceph 能够扩展到 EB 级别的原因:没有命名空间协调开销,没有锁竞争, 集群中的任何节点都可以独立响应任何对象请求。
分布式块存储
块存储将原始卷直接提供给服务器,即固定大小、具有唯一地址的数据块,其上没有文件系统抽象层。应用程序直接写入数据块,这正是数据库、虚拟机磁盘和容器化工作负载获得稳定、低延迟随机 I/O 性能的原因。有一个架构上的局限常常被忽视:块卷通常一次只能被一台服务器挂载。若要实现多台服务器的共享访问,则需要额外的编排层,例如在块设备之上叠加的集群文件系统。
分布式文件存储
文件存储通过 NFS、SMB、兼容 POSIX 等标准协议提供共享文件系统。多个客户端可以同时挂载同一卷,因此它天然适合协作型工作负载、高性能计算环境,以及依赖目录树、短期内不会被重写的传统应用。实际中的权衡在于:在分布式节点之间维持一致的目录命名空间会产生协调开销,而且这种开销会随规模扩大而叠加。当数据卷增长到足够大时,大多数超大规模云服务商最终都会将主要数据从分布式文件存储迁移到分布式对象存储。
CAP 定理:分布式存储中无法回避的权衡
CAP 定理指出,分布式数据系统同一时间只能保证以下三项中的两项:一致性(每次读取都返回最新写入的数据)、可用性(每个请求都能得到响应)以及分区容错性(系统在网络分裂时仍能持续运行)。网络一定会发生分裂,因此分区容错性不是可选项。真正的决策始终是在故障发生时,在一致性与可用性之间做出取舍。
[Eric Brewer 于 2000 年提出 CAP 理论,Gilbert 和 Lynch 于 2002 年完成了形式化证明][https://www.scylladb.com/glossary/cap-theorem/]。这一权衡至今仍塑造着分布式存储架构的其他方面,因为它决定了系统在你最需要它的那一刻,也就是系统本身已经出现问题的时候,会如何表现。
| 系统 | CAP 类型 | 分区期间的表现 | 适用场景 |
|---|---|---|---|
| MongoDB | CP(配合多数读写关注) | 在一致性恢复之前拒绝请求 | 财务记录、库存、预订 |
| HBase | CP | 返回错误,而不是过期数据 | 结构化分析、需要一致性的批处理任务 |
| Apache Cassandra | AP | 保持可用,但可能返回过期读取结果 | 社交动态、消息传递、物联网遥测 |
| DynamoDB(默认) | AP | 始终响应,并在之后异步修复不一致 | 高吞吐量的消费级应用 |
| CockroachDB | CP | 一致性优先,提供分布式 SQL | 全球范围的事务型工作负载 |
实际决策的关键在于:你的工作负载能否容忍过期读取?银行余额、座位预订、库存数量,大概都无法容忍,应选择 CP。社交动态、传感器事件流、分析遥测数据则可以接受几秒钟的数据滞后,应选择 AP,保障可用性。
分布式存储的安全:加密与数据主权
分布式存储的安全性涉及三个不同层面:静态数据、传输中数据和密钥归属。任何一层出现问题,其他两层都无法补救。基础设施可能完全可用,但敏感数据却在不知不觉中被错误的人访问。
加密必须覆盖这三个层面。静态数据通常使用 AES-256 加密,密钥可以由服务商托管,也可以使用客户 自管密钥(CMK)。服务商托管密钥的运维更简单,但存储供应商掌握密钥材料,这对需要接受审计的强监管行业而言是关键的安全考量。客户端加密则彻底消除了这一风险:数据在离开客户端之前就已加密,因此无论收到何种法律请求,服务商都无法接触明文。对于传输中的数据,TLS 1.3 是安全底线。在大多数现行合规框架下,仍允许使用 TLS 1.2 的系统需要有书面记录的例外说明。
数据主权常常让团队措手不及。数据受其物理存放所在地的法律约束,而不是公司所在国,也不是用户所在地。瑞士在 GDPR 第 45 条下获得充分性认定,因此从欧盟向瑞士传输数据无需额外的合同保障措施。修订后的《联邦数据保护法》(nFADP)使瑞士国内规则与 GDPR 保持一致,这意味着瑞士基础设施可以同时在两套框架下提供一致的合规保障。
有一件事容易被推迟,但不应当被推迟:目前保护大多数存储基础设施的密码算法,并非为抵御具备实用能力的量子计算机而设计。美国国家标准与技术研究院(NIST)于 2024 年 8 月正式发布三项后量子密码标准,其中包括 FIPS 203(ML-KEM)。如果你的分布式数据存储保存着保存期限很长的记录,例如医疗档案、金融记录或法律文件,那么“先窃取、后解密”(harvest now, decrypt later)的威胁模型其实已经生效。评估时间表应当远早于这些档案进入成熟期之前就开始。
分布式存储的主要优势
- 无服务中断的容错能力: 节点故障会触发心跳检测,并自动将请求重新路由至仍在运行的副本,无需人工干预, 也无需维护窗口。
- 水平扩展: 新增存储容量只需向集群添加节点;数据在后台重新均衡,不影响在线业务流量,也无需停机。
- 地理分布: 跨区域复制可降低地理上分散的用户的访问延迟,并将数据驻留合规从基础设施项目转变为一项配置决策。
- 并行 I/O 吞吐: 多个节点同时处理读写请求,是在真实生产规模下支撑 AI/ML 训练流水线、视频转码或流媒体的唯一可扩展架构。
- 基于开放协议、无供应商锁定: 兼容 S3 的 API、NFS 以及 Ceph 等开源平台,让团队无需重写应用代码即可在服务商之间迁移,或在本地机房运行基础设施。
- 规模化成本效率: 通用硬件取代昂贵的专有存储阵列;纠删码进一步降低原始容量需求,相比节点间的全量复制,最多可节省 50%。
分布式存储的局限与挑战
- 一致性复杂: 在节点之间维持一致的状态,需要仔细调整一致性模型、副本数和法定人数(Quorum)设置。配置错误不会大声报警,而是悄无声息地让数据逐渐分歧。
- 运维负担: 运行分布式存储集群意味着需要负责故障域规划、节点更换流程、监控流水线和性能调优。单台服务器可不会对你提出这些要求。
- 网络依赖: 整体架构假定节点之间具备可靠、高带宽的连接。网络性能下降会直接且按比例转化为存储延迟增加和吞吐损失。
- 小随机 I/O 延迟: 分布式存储针对大块顺序读取和并行吞吐进行了优化。以小随机 I/O 为主的工作负载,尤其是 OLTP 数据库,通常在本地直连的 NVMe 块存储上表现更好。
- 最低可行规模: 分布式存储的成本与复杂度优势在两节点集群上无法体现。低于一定规模时,托管云存储服务或调优良好的单台服务器显然更便宜,也更易于运维。
分布式存储的实际应用场景
- 媒体与流媒体 Netflix 和 YouTube 并非从某个中心位置提供视频,而是将编码后的内容分发到地理上靠近观众的对象存储集群中。单个数据中心无法在大规模下同时承载全球范围的流媒体请求,仅带宽成本就会高得令人望而却步。正是分布式数据存储让流媒体的经济模型真正成立。
- 医疗健康 一次 MRI 检查会产生 500 MB 至 1 GB 的影像数据。乘以大型医院网络中的多种设备类型、较长的保存期限和多个站点,PB 级数据便会迅速积累。具备地理冗余的可扩展分布式存储,正是医疗机构在区域数据中心发生故障时,仍能维持对患者记录符合 HIPAA 要求访问的方式。
- AI 与机器学习 训练大语言模型意味着要为 GPU 集群持续供给 TB 到 PB 级数据,而其非顺序的访问模式会几乎立即让传统存储系统饱和。Ceph、HDFS 和兼容 S3 的对象存储已成为机器学习流水线的标准基础设施层,因为它们的并行读取吞吐恰好能匹配 GPU 集群的消耗速度。
- 备份与容灾 真正的容灾意味着数据至少存在于两个地理上相互分离、故障域彼此独立的位置,而不是同一机房里的两个机架。直接内置于分布式存储层的复制策略与放置规则,可以在基础设施层面定义 RPO 和 RTO,而无需额外的备份软件栈。更少的活动部件也意味着更小的攻击面。
分布式存储与去中心化存储:有何区别?
分布式存储指数据分散在众多节点上,但整个系统仍归一个组织所有并由其控制,包括策略、访问权限、删除能力和审计日志。去中心化存储则彻底取消了这一中心化权威。数据分布在相互独立的对等节点上,任何单一运营方都无法单方面审查、访问或删除数据。

这一区别具有实际的运维影响。由中心化管理的分布式系统可以被审计、打补丁、提供 SLA 保障,并纳入合规监管。去中心化系统则以这些能力换取抗审查性和无需信任的运行方式,这在特定场景下很有价值,但并非大多数运行生产存储基础设施的企业真正需要的。
| 对比维度 | 分布式存储 | 去中心化存储 |
|---|---|---|
| 控制权 | 中心化管理 | 无中心权威 |
| SLA / 可用性保证 | 可签订合同化保障 | 尽力而为,取决于协议 |
| 合规性 | 可审计,兼容 GDPR | 司法管辖权不明确 |
| 数据删除 | 有保障 | 不一定可行 |
| 访问控制 | 基于角色,由管理员统一管理 | 基于密码学,无需信任 |
| 示例 | AWS S3、Azure Blob、Ceph | Storj、Filecoin、IPFS |
还有一层值得区分的概念:多区域云存储(例如带跨区域复制的 AWS S3、Azure 异地冗余存储)仍然是中心化管理的基础设施。服务商负责管理节点和复制,你实际上是在租用地理位置。真正的分布式云平台(如 Storj 或 Cubbit)将数据分布到独立运营方之间,消除了服务商锁定,但也重新引出了 SLA 和审计追踪方面的问题。对于大多数需要合规文档和可预期可用性的工作负载而言,托管式分布式方案才是更稳妥的选择。
总结
分布式存储并非某一款产品,而是一种架构类别,具体选择哪种形式完全取决于你要运行的业务。对象存储、块存储和文件存储各自的数据模型,分别针对不同的访问模式和工作负载形态而设计。一旦出现网络故障,CAP 定理就迫使你在一致性与可用性之间做出真正的取舍,选错了代价可能很高。至于复制与纠删码的选择,则由数据的冷热程度决定:热数据需要复制以保证延迟,冷数据则受益于纠删码带来的存储效率提升。对大多数团队而言,托管式分布式方案(无论是私有服务商还是公有云,只要数据驻留与安全控制可验证)在可扩展性、性能和日常运维简便性之间的平衡,要优于自建集群。
将数据存放于瑞士:借助 PrivateAlps
如果你的工作负载需要具备可验证数据驻留的兼容 S3 分布式对象存储,PrivateAlps 运行的瑞士基础设施完全符合 GDPR 第 45 条和 nFADP 的要求。你的数据留在瑞士,不与第三方共享,不会模糊地经由外国司法管辖区路由,也不会出现意外。无论你是要从超大规模云服务商迁出,还是从零开始构建以隐私为先的分布式存储架构,PrivateAlps 都能提供你的工作负载真正需要的性能与合规保障。
常见问题
分布式存储与云存储有何区别?
云存储是一种交付模式:由他人管理基础设施,你通过互联网按需付费访问。分布式存储则是一种架构, 即数据分散在多个节点上以实现冗余和扩展。两者是相互独立的概念。你可以使用 Ceph 或 MinIO 完全在本地部署分布式存储,而云服务商在技术上也可以通过 API 提供集中式存储。大多数云存储服务在内部使用分布式架构,但这属于实现细节,并非云存储的定义。
最好的分布式存储系统是什么?
没有统一答案,取决于工作负载和数据模型。对于非结构化数据和备份,兼容 S3 的对象存储(如 MinIO 或 Ceph RADOS)是标准选择。对于需要一致且低延迟块 I/O 的数据库卷和虚拟机磁盘,Ceph RBD 或 Lightbits 更为合适。对于高性能计算或遗留环境中的共享文件系统,团队通常会选择 GlusterFS 或 HDFS。先从访问模式入手,存储系统的选择自然就会随之确定。
分布式存储与 RAID 是一回事吗?
不是。RAID 在单台服务器或单个存储阵列内部运行,用于防范单台机器内部的磁盘故障。分布式存储则跨越通过网络相连的独立物理节点运行,可能横跨多座建筑甚至整个数据中心。当服务器本身故障时,RAID 无能为力。分布式存储系统则专门设计用于容忍节点故障、机架故障以及整个数据中心的宕机。两者的作用范围存在根本差异。
分布式存储如何处理节点故障?
节点会定期向集群的元数据层发送心跳信号。当某个节点停止响应时,系统会检测到故障(通常在数秒之内),并将请求重新路由到持有副本或纠删码分片的节点。在基于复制的架构中,后台恢复进程随后会创建新的副本,以在整个集群中恢复配置的副本数。整个过程是自动完成的;在配置良好的分布式存储集群中,应用程序根本感知不到故障的发生。
分布式存储适合小型企业吗?\\
托管式分布式存储服务(例如云服务商 提供的兼容 S3 的对象存储,或 PrivateAlps 这类专业服务商)可在任何规模下使用,且没有最低集群要求。自建分布式存储集群则是另一回事:要高效运行 Ceph,通常至少需要三到五个节点,运维负担才会值得投入。对于小型团队,托管服务无需承担基础设施管理的负担,即可享有分布式存储的全部架构优势。


