下一代 Hadoop 存储方案：依托 BlueField-3 与 CSAL 实现高性能与高可靠性

摘要：面对现代大数据工作负载，传统 Hadoop 存储在性能与资源利用率方面遇到挑战。本海报介绍了一款由 BlueField-3 与 Solidigm CSAL 软件驱动的解决方案，通过三副本复制、纠删码 (EC) 及磁盘阵列技术 (RAID)，实现超高吞吐量、降低 CPU 开销并提供高可靠性数据保护，保障数据管理的可扩展性与安全性。

有关海报的完整版本，请访问此处。

第 1 部分

配备 BlueField-3 和 Solidigm CSAL 的 Hadoop 存储架构

传统 Hadoop 存储架构与 BlueField-3 + CSAL Hadoop 存储架构对比 图 1. 传统 Hadoop 存储架构与 BlueField-3 + CSAL Hadoop 存储架构对比

通过采用 BlueField-3 + CSAL 解决方案，我们重构了三层 Hadoop 存储架构，带来了以下优势：

  1. Solidigm 的 CSAL 软件利用 BlueField-3 的硬件计算资源，支持纠删码 (EC)、RAID、多副本等多种数据保护备份机制。
  2. 将原有的“三层服务器 + 两层交换机”架构精简为“两层服务器 + 一层交换机”，大幅降低存储数据的读写延迟。
  3. 将存储相关计算任务卸载至 BlueField-3，节省了 CPU 计算资源，使 CPU 能更高效地专注于 Hadoop 计算任务。

第 2 部分

传统三副本架构

传统三副本存储架构与 BlueField-3 + CSAL 存储架构对比 图 2. 传统三副本架构

高可靠性：通过三副本实现容错能力。

链式复制：数据按顺序通过数据节点传输，增加延迟。

确认开销：多步骤确认机制增加系统复杂度与延迟。

BlueField-3 + CSAL 采用主备架构方案

BlueField-3 + CSAL 采用主备架构方案 图 3. BlueField-3 + CSAL 主备架构方案

简化工作流程：在单个 BlueField-3 内部完成数据直接复制

性能提升：无东西向流量，减少复制步骤，降低延迟。

针对高性能场景进行了优化：适用于对延迟敏感的工作负载。

需增设管理平面机制，确保数据节点发生故障时，可快速故障切换至备用节点。

第 3 部分

生态系统

基于训练数据集、推理模型与新数据构建的训练框架。
数据使用者
数据湖引擎
数据湖存储 图 4. 训练与推理模型生态系统

第 4 部分

性能与 CPU 对比

  • 性能提升 3%
  • CPU 资源占用率为 20%
LVM 与 BlueField-3 + CSAL 在 4K 顺序写入、4K 随机写入场景下的吞吐量及 CPU 对比。 图 5. LVM 与 BlueField-3 + CSAL 的吞吐量及 CPU 对比
  LVM(MiB/s) BlueField-3+CSAL (MiB/s)
4K 顺序写入 2333 7697
4K 随机读取 6863 18712

表 1. LVM 与 BlueField-3 + CSAL 的吞吐量对比

 

  LVM（CPU 核心） BlueField-3+CSAL（CPU 核心）
4K 顺序写入 6 1
4K 随机读取 5 1

表 2. LVM 与 BlueField-3 + CSAL 的 CPU 资源占用对比

 

第 5 部分

 

CSAL RAID5F 与 MDRAID 对比

CSAL RAID5F 与 MDRAID 的 KIOPS 对比 图 6. CSAL RAID5F 与 MDRAID – IOPS 对比
CSAL RAID5F 与 MDRAID 的 GiB/s 对比 图 7. CSAL RAID5F 与 MDRAID – 吞吐量对比

CSAL 提供功能丰富、高可靠性且适配 QLC 的 RAID 解决方案，助力实现高密度、高性能的部署

1. 无 RMW 开销

2. 内置写洞保护机制

3. 支持多核心扩展

4. 相较于带日志的 MDRAID，性能提升 4 至 20 倍

5. 提升 SSD 耐用性

第 6 部分

TCO 分析

解决方案 A：BlueField-3 + CSAL 与解决方案 B 对比：LVM 数据节点

解决方案 A：BlueField-3 + CSAL 与解决方案 B 对比：LVM 数据节点的 CAPEX 与 TCO 对比 图 8. 解决方案 A：BlueField-3 + CSAL 与解决方案 B 对比：LVM 数据节点的 CAPEX 与 TCO 对比

解决方案 A (BlueField-3 + CSAL) 通过复用计算节点的服务器，并将存储相关计算任务卸载至 BlueField-3，相比解决方案 B 节省了数据中心的空间与电力资源。

以图中的三节点为例，解决方案 A 的 TCO CAPEX 节省超过 50%。

在此处阅读关于 DPU 原生弹性存储架构的内容


关于作者

Wayne Gao 是 Solidigm 的首席工程师和解决方案存储架构师。他全程参与 Solidigm 云存储加速层 (CSAL) 从技术探索到商业发布的全流程工作。Wayne 拥有超过 20 年的存储开发经验，持有 4 项美国专利（已申请/授权），并在 EuroSys 上发表过论文。

Bo Li 是 Solidigm 的高级存储解决方案架构师。他拥有超过二十年跨多个组织的系统设计和开发经验，专注于优化网络和存储解决方案的性能。近年来，他致力于推动非易失性存储技术在全行业的普及。

Mariusz Barczak 是 Solidigm 的首席工程师。他在存储软件和存储解决方案方面拥有超过 13 年的创新经验。他特别擅长缓存解决方案、软件定义存储、虚拟化和存储分析。Mariusz 拥有多项专利，活跃于开源社区。他目前专注于领导 Solidigm 云存储加速层 (CSAL) 团队，该团队提供混合介质解决方案，将 Solidigm SLC SSD 与其他存储组件相结合（如 Solidigm QLC SSD），以提供高效且耐用的存储。
 

相关文章

全部新闻