数据中心固态硬盘从核心到边缘的新兴用例

三个新兴用例——智能农业中的固态硬盘、自动驾驶汽车中的固态硬盘、边缘环境和数据中心中的固态硬盘。
三个新兴用例——智能农业中的固态硬盘、自动驾驶汽车中的固态硬盘、边缘环境和数据中心中的固态硬盘。

我们正在以前所未有的方式产生和使用数据。在全世界、在各行各业,数据永不停歇。专家预测,到 2025 年,1 我们将每年生成、消费和分析 181 ZB 的数据。以 23% 的复合年增长率 (CAGR) 来看,我们观察到的是数据生成和消费的大幅增长。但问题是,我们要把所有这些数据存储在哪里?

数据存储需求范围

当我们谈到数据存储位置时,需要考虑三个主要子类别。在终端数据中,信息位于设备本身,例如笔记本电脑、移动设备、可穿戴技术、车辆或本地服务器。在边缘,来自这些端点的数据会流向企业级加固位置,例如区域办事处和小型数据中心,或者流向核心(即云端)。

想象一下:

  • 我们每分钟上传 6.6 万张 Instagram 图片
  • 我们每分钟产生价值 50 万美元的 Venmo 或 AWS 交易
  • 我们每分钟执行 600 万次 Google 搜索

虽然我们每年产生的数据量都在增加,但近几年来,使用情况发生了变化。现在,我们不再像以前那样在临时缓存中生成数据,然后再覆盖它,而是以前所未有的速度存储这些新数据。大部分数据将存储在云端或边缘。2

云原生数据是核心内容的未来

这些数据大部分都流向云端。Gartner 估计,到 2025 年,超过 95% 的新数字化项目将是云原生项目。3 存放这些内容的数据中心需要进行冷却。事实上,高达 40% 的数据中心能源成本用于冷却。随着先进的 AI 模型每隔几年就以 10,000 倍的速度增长,4 我们需要在保持数据中心驱动器性能的同时,解决功耗问题,降低功耗。多层数据中心使得冷却和电力方面的挑战更加突出。

边缘数据由物联网驱动

与此同时,被称为“边缘化”的数据存储现象如今已成为现实。物联网 (IoT) 正在影响数据的创建,进而影响数据的存储和检索。到 2023 年底,全球约有 145 亿台联网的物联网设备,本地边缘固态硬盘的复合年增长率达到 50%。5,6 边缘设备带来了独特的地域性挑战,包括重量、外形规格和耐用性等方面的挑战。

Solidigm 能够满足数据存储和可持续发展方面的需求

如今,我们比以往任何时候都更需要密度更高、耐用性更强且兼顾可持续性的固态硬盘,以满足现实世界的需求。可持续发展面临的主要挑战之一是减少碳足迹。通过提高单元级密度并提供合适的耐用性,Solidigm 存储解决方案对于推动这些可持续发展指标大有帮助——降低处置成本,实现机架级整合,并降低总功耗。

现在,让我们来看看涵盖核心和边缘的三个新兴用例,看看在实际应用中密度和耐用性要求是如何形成的。

1. 自动驾驶数据使用

对于高级驾驶辅助系统(ADAS,通常称为自动驾驶),需要进行大量的数据记录和检测工作。固态硬盘是这种场景下的理想选择,因为它们具有卓越的耐冲击和抗振性能。路面颠簸和不平整情况要求这种边缘存储应用具有这样的性能。这些系统的填充速率要求可能高达 19TB/小时。虽然并非全天候运行,但每年 17,600 分钟的驾驶时长仍会产生 5PB/年的数据。7

Solidigm 固态硬盘产品组合中的多款固态硬盘可满足智能驾驶应用的耐用性要求。但更重要的是,QLC 产品线能够提供一些新兴存储用例所需的性能和耐用性,包括智能农业和精准农业等应用,这些应用在提高作物产量的同时,优化劳动力、水和肥料等资源。这些流程会在边缘端产生大量数据需求,并且主要以读取数据为主导进行决策。8

2. 机器人和无人机数据使用

机器人系统、无人机和卫星图像分析会生成实时数据。以约翰迪尔公司研发的 See and Spray 功能为例,可以在车辆移动时对每棵作物每秒拍摄 20 张图像。然后将这些图像与存储的 100 万张图像进行比较,以了解需要喷洒的区域。机载摄像头每时每刻拍摄图像,因此每台喷雾器每天需要 6TB 的存储空间。9

3. 对象存储数据用例

在核心数据中心,对象存储是用于存储非结构化数据的解决方案。假设用户需要扩展以覆盖 5PB 的数据池。对此,戴尔 EMC F600 或 F900 系统是理想的安装选择。戴尔 F900 服务器可容纳近 1PB 的存储容量。根据戴尔自己进行的现场跟踪数据分析,部分已部署的 D5-P5316 硬盘的使用寿命长达 14 年。10

关于实际数据存储的结论

从这些实际用例中,我们可以重点关注一些硬盘层面的分析和车队数据。例如:

  1. 多伦多大学的一项研究表明,企业部署中的大部分工作负载为 80% 的读取操作和 20% 的写入操作。11
  2. Storage Review 使用 19 个 Solidigm D5-P5316 QLC 硬盘对圆周率小数点后 100 万亿位进行了分析,并推算出这些硬盘的耐用性,结果远远超出 5 年的硬盘质保期。这意味着对于这些高性能计算 (HPC) 应用而言,耐用性不成问题。(可在此处详细了解这项分析。
  3. NetApp 通过大规模现场部署进行了一项固态硬盘运行特性研究。虽然这项研究有很多值得探讨的内容,但其中最重要的发现之一(如第 3.1.2 节所述)是,如果 QLC 固态硬盘能够提供 3,000 个或更多的 PE 周期,那么“绝大多数用户(约 95%)都可以转为使用 QLC 固态硬盘,而无需担心过早磨损问题”。而 Solidigm 的 QLC 产品已经实现了这一点。12

选择合适的存储解决方案

在存储用例方面,对专用产品泳道的需求日益增长。应该为应用选择哪种固态硬盘取决于您的目标每日硬盘写入次数 (DWPD) 以及您的工作负载——写入密集型、读取密集型还是两者兼有。没有一种方案能够满足所有需求,在制定存储解决方案构建计划时,需要权衡多种因素,才能取得最佳效果。图 1 可以帮助您开始选择适合您要运行的应用程序的存储解决方案。

QLC 与 SLC 的使用示例

Solidigm 提供具有多种不同耐用性水平和性能水平的产品,可满足各种应用的需求。如图 1 所示,Solidigm D7-P5810(基于 SLC NAND)具有最高的耐用性,以 DWPD 衡量。与此同时,基于 QLC 的固态硬盘凭借其巨大的容量(高达 61.44TB)达到 0.5+ DWPD,具有 Solidigm 系列中最高的 PB 级写入能力。

下表显示了如何根据 Solidigm 硬盘的相对写入耐用性,将其用于各种数据中心工作负载。随着我们接触到从核心到边缘的各种用例,了解密度、耐用性和性能之间的正确需求组合,对于确保您拥有适合具体用例的存储解决方案至关重要。

按 DWPD 固态硬盘耐用性列出的目标应用及固态硬盘使用示例。

图 1. 耐用性泳道及其目标应用和用途

存储用例如何演变

随着固态存储技术的发展和用例的扩展,固态硬盘的一些关键用例也在不断演变。

1. 耐用性

第一代固态硬盘预计能够满足非常高的写入耐用性要求,在某些情况下,写入耐用性要求高达 10 至 20 DWPD。由于固态硬盘固件架构的改进,以及SLC、TLC 和 QLC NAND 闪存在编程/擦除周期方面的耐用性水平趋于标准化,写入放大系数(即写入 NAND 闪存所需的时间与主机所要求的时间之比)自那时起有所下降。

JESED219 类型的标准为耐用性测量中使用的工作负荷类型提供了亟需的明确性。图 1 的上半部分展示了如何将工作负载环境与每个产品泳道所定义的独特耐用性相匹配。

2. 具有影响力的性能 (H3)

随着固态存储技术的代际变革和用例的演变,除了带宽和 IOPS 之外,其他领域也越来越受到关注。过渡性工作负载后的 IOPS 一致性、TRIM 操作后的延迟响应以及中低 QD 性能都是值得关注的问题。

随着硬盘容量越来越大,NAND 和硬盘固件层面正在实施新的技术,以利用多租户应用——在这种应用中,任何一个租户的 I/O 操作都不会对其他租户造成延迟影响。未来,采用灵活数据放置 (FDP) 模式的精细控制将有助于主机放置数据,而不会因硬盘固件的内部垃圾回收而造成耐用性和性能下降。

3. 外形

数据中心固态硬盘沿用机械硬盘的 2.5 英寸外形规格,这种“一刀切”的时代已经一去不复返了。EDSFF 为连接器提供了不同的外形规格,使连接器具有更好的信号完整性和热插拔稳健性。采用通用连接器设计,可以实现多种长、短、高的外形规格,以便在云端和数据中心平台部署。

4. 以数据为中心的功能

第一代部署在数据中心的固态硬盘有两个必备的关键功能:1) 断电数据保护;以及 2) 能够利用 ECC 对数据从临时缓冲区传输到 NAND 介质的整个过程进行端到端保护。

现代固态硬盘的必备功能包括带外管理、遥测以及实时跟踪延迟和硬盘运行状况等高级功能。随着计算存储和 AI 的出现,我们预计这些技术将被用于预测未来部署中硬盘本身的故障。未来发展的一个关键领域是可持续利用固态硬盘以延长其使用寿命:重复使用、重新利用和重新配置,以延长其使用寿命。

影响固态硬盘未来发展的固态硬盘用例关键参数。

图 2. 决定着固态硬盘未来发展的用例

结论

随着数据量的增长和固态硬盘技术的成熟,使用模式不再局限于传统的企业应用。云服务提供商 (CSP) 彻底改变了固态硬盘的大规模部署。CSP 还通过采用新功能、鼓励新的外形规格来帮助塑造行业,并利用基于 NAND 介质和耐用性等级的差异化产品组合。随着新兴边缘用例的出现以及推动 AI 革命带来的存储需求,将对下一代固态硬盘提出更高的要求。

过去那种为了满足整体市场需求而采用单一密度和单一外形规格的做法已经一去不复返了。未来的创新将由存储用例环境的工作负载需求来主导和定义。从技术角度来看,Solidigm 固态硬盘已经足够成熟灵活,可以应对这些挑战。

 

[1] https://explodingtopics.com/blog/data-generated-per-day

[2] https://www.red-gate.com/blog/database-development/whats-the-real-story-behind-the-explosive-growth-of-data

[3] https://www.datacenterdynamics.com/en/opinions/the-five-big-trends-powering-tomorrows-data-center/

[4] https://pages.dataiku.com/report-idc-2023

[5] https://iot-analytics.com/number-connected-iot-devices/

[6] https://www.idc.com/getdoc.jsp?containerId=US50673423

[7] https://www.solidigm.com/products/technology/inonet-used-solidigm-qlc-drives-for-duration-cost-accuracy-of-test-drive-results.htmlhttps://www.visualcapitalist.com/network-overload/

[8] https://www.sciencedirect.com/topics/earth-and-planetary-sciences/precision-agriculture#:~:text=Precision%20agriculture%20(PA)%20is%20the,of%20fertilizers%20and%20irrigation%20processes.

[9] https://www.deere.com/en/sprayers/see-spray-ultimate/

[10]  https://www.storagereview.com/review/dell-powerscale-benefitting-from-qlc-ssd-economics-and-performance

[11] https://www.usenix.org/conference/fast22/presentation/maneas

[12] https://www.usenix.org/system/files/fast22-maneas.pdf

关于作者

Tahmid Rahman 是 Solidigm 的数据中心产品营销总监。他的主要职责包括当前和未来产品的产品定位、基准测试和客户需求整合。他拥有孟加拉国工程技术大学学士学位和德克萨斯农工大学电气工程硕士学位。他还拥有加州大学戴维斯分校的 MBA 学位。他喜欢户外活动,包括观光和徒步旅行。