DUG Technology：百万兆级闪存存储
DUG Technology 从硬盘驱动器切换到由英特尔® 傲腾™ 技术提供支持的 PB 级闪存。
概览
- DUG Technology 处于高性能计算的前沿，将创新的硬件和软件解决方案相结合，使客户端能够利用大型复杂的数据集。
- 为了构建能够扩展到新市场的弹性和自适应存储环境，DUG 借助采用第 2 代英特尔® 至强® 可扩展处理器、英特尔® 傲腾固态硬盘和英特尔® QLC 3D NAND 固态硬盘的 VAST Data 通用存储从普通硬盘切换到 PB 级闪存存储，以提高性能和可靠性。
地震分析是一门高性能计算 (HPC) 学科，通过声音的反射探测地球表面下的活动。要进行有用的 3D 分析，需要 PB 级数据和数千台功能强大的计算机。即使是大型石油公司，也不具备在内部进行所有这些分析所需的所有计算资源，因此他们求助于像 DUG Technology 这样的公司，从他们的海量数据中梳理出细节。
DUG 将此功能称为 HPC 即服务 (HPCaaS)：按需提供的专用全栈百万兆级计算。传统上，DUG 的计算即服务技术仅适用于特定客户，例如大型石油和天然气公司。随着市场对其功能的关注，DUG 将其产品扩展到其他细分行业，这些细分行业使用相同的服务来解决各种极端计算需求。
DUG 决定为能源行业以外的企业提供同样的“只携带您的数据”的便捷服务。由于针对 HPC 提供了专门的 DUG McCloud 服务，DUG 确信它可以为这些新的细分行业提供经济实惠的服务。采用英特尔® 技术的 VAST Data 通用存储为 DUG McCloud 提供支持，并使 DUG 能够成功进入新的细分行业，包括学术界、天体物理学、医学和基因组学、野火建模和新冠肺炎研究。然而，要实现这一点，DUG 需要彻底改变其处理存储的方式。
挑战
在运营的第一个十年中，DUG 一直致力于部署和管理基于普通硬盘的存储，以提供其地震工作负载所需的规模和成本经济性。在此期间，DUG 彻底优化了其应用程序，以利用其基于 Lustre HDD 的基础架构的功能并避免其限制。在这里，DUG 不得不做出很多妥协。例如，当 Lustre 文件系统客户端的给定工作流达到峰值吞吐量时，共享同一文件系统的其他用户将受到影响。从弹性的角度来看，尽管 DUG 设计的软件是为了防止普通硬盘发生故障，但每周更换一次故障硬盘一直困扰着 DUG。
最后，虽然 DUG 的应用程序针对 Lustre 和机械硬盘存储进行了很好的优化，但 DUG 正在发展的新应用程序以不同方式支持所有处理的存储输入/输出 (I/O)。存储多功能性和多租户对 DUG 来说变得至关重要；任何新的解决方案都需要支持各种各样的需求，并提供百万兆级的计算支持。DUG 还需要能够处理不同应用程序的多种吞吐量需求的存储。DUG 寻求基于固态硬盘 (SSD) 的存储来提供更高的性能和可靠性。然而，在 Lustre 上迁移到固态硬盘的成本会高得令人望而却步，而对于 DUG 来说，负担能力是首要考虑因素。
为了构建一个能够扩展到新市场的弹性自适应存储环境，DUG 需要一种新的存储方法。
测试
解决方案：VAST Data 通用存储
DUG 选择了 VAST Data 通用存储来扩展其业务并支持各种新市场和客户的需求。通用存储产品将并行文件系统的速度和规模与全新级别的闪存可负担性和多租户相结合，为 DUG 带来了全面的技术飞跃。VAST Data 的分解共享一切 (DASE) 架构还通过隔离未优化的 I/O 来提供一致的性能，以免影响其他租户。借助 DASE 方法，VAST Data 消除了并行存储的并发挑战，为特定工作负载提供高性能，而不会以牺牲其他工作负载为代价。
除了显著改善客户性能体验之外，VAST Data 还提供可靠性、管理和支持，而这些是传统 HPC 存储技术无法提供的。VAST Data 的 DASE 架构提供了百万兆级的可扩展性，使 DUG 能够增长到数十 PB 的闪存存储，而架构中没有单点故障，可以快速从故障中恢复。DASE 架构的可靠性是“免费的”：它是 VAST Data 数据保护效率和架构无状态的直接结果。除了弹性之外，VAST Data 通用存储还通过提供集成的横向扩展设备来简化 DUG 的部署和管理体验，该设备不断地推出系统在线时自动应用的新功能，使 DUG 不会停机。
采用英特尔存储技术的 VAST Data 通用存储概述
VAST Data 通用存储提供了一个单一的全局命名空间，以便每个应用程序都可以访问该工作负载的所有相关数据。VAST Data 解决方案结合了全闪存驱动器的性能、大规模的可扩展性、存档存储的经济性以及即插即用的网络附加存储 (NAS) 连接的简单性。
英特尔® 固态盘为 VAST Data 通用存储的成本效益和可靠性提供了硬件基础。英特尔将垂直浮栅技术与互补金属氧化物半导体 (CMOS) 下阵列架构相结合，为每个单元的相同位提供业界最高的面密度（每平方毫米的存储千兆字节数）１。这意味着英特尔® QLC 3D NAND 固态硬盘不仅提供比上一代三级单元 (TLC) 介质更高的面密度，而且提供比基于电荷陷阱技术的竞品四级单元 (QLC) 设计更大的面密度和更高的可靠性1。英特尔架构创新使 VAST Data 解决方案能够经济实惠地将所有数据存储在闪存驱动器上。英特尔 QLC 3D NAND 固态硬盘的成本效益和高可靠性为 VAST Data 架构奠定了基础，与普通硬盘相比，成本降低高达 85%，10 年内每 GB 成本与基于普通硬盘的系统类似2 3。
英特尔® 傲腾™ 固态硬盘进一步提高了在 VAST Data 通用存储上运行的工作负载的写入性能。至关重要的是，英特尔® 傲腾™ 固态盘缓冲写入存储，从而实现完整的 QLC 擦除块写入。英特尔® 傲腾™ 固态盘的低延迟、高耐用性和高 4K 随机写入性能有助于确保长期和短期数据不会共同位于大型 QLC 块中。英特尔傲腾固态硬盘保护英特尔 QLC 3D NAND 固态硬盘免受低效写入行为的影响，这也是 VAST Data 可以提供 10 年固态硬盘耐用性保证，同时提供 QLC NAND 的经济效益的原因之一。2 3
然而，存储容量、成本和功能只是 VAST Data 通用存储案例的一部分。VAST Data 解决方案在实施新算法方面也非常复杂，这些算法开创了全新的数据缩减和数据保护效率水平4。VAST Data 通用存储将所有这些架构方面与第 2 代英特尔® 至强® 可扩展处理器相结合，在 DASE 集群中实施了一类全新的全局算法4。这些处理器为 VAST Data 通用存储和重要加速库提供了基础计算能力。存储性能开发套件 (SPDK) 作为 VAST Data 通用存储的加速器，提供从每个 CPU 到每个 QLC 和英特尔傲腾固态硬盘的低延迟访问。因此，SPDK 消除了复杂且易失的缓存一致性操作的必要，否则这些操作可能会抑制传统无共享存储架构的扩展。 VAST Data 通用存储使用 NVMe over Fabric (NVMe-oF) 协议将 CPU 与 NVM Express (NVMe) 设备互连，以提供具有直连存储 (DAS) 性能和延迟的分布式规模5。NVMe-oF 在标准以太网或 InfiniBand 网络上运行，以支持商用数据中心结构上的资源分解和一切共享架构。VAST Data 连接通过网络文件系统 (NFS)、服务器消息块 (SMB) 和兼容 Amazon S3 的 API 等无处不在的协议将系统公开，因此使用通用存储的应用程序不需要专门的适配器、格式或协议。
VAST Data 改变了 DUG 处理数据的方式
自 2019 年 12 月以来，DUG 在德克萨斯州休斯顿和澳大利亚珀斯的 DUG 数据中心已全面使用 VAST Data 进行生产，并计划进一步扩展。事实上，DUG 计划在 2020 年和 2021 年将其在休斯顿和珀斯的计算能力提高一倍以上。幸运的是，随着 VAST Data 解决方案的发展，它变得越来越可靠。
DUG 的数据存储需求一直很大。地震处理项目到达 DUG 时有超过 1 PB 的数据，并且在处理过程中经历了 6-8 倍的扩展。在单个地震处理项目中，DUG 最多可复制和写入该数据 50 次——而且 DUG 通常在任何给定时间同时运行 100 多个项目。VAST Data 通用存储非常适合这种类型的数据增长，它帮助 DUG 确保相竞争的应用程序能够共享 HPC 计算资源，获得公平的性能。
除了有效处理大量数据之外，VAST Data 的数据缩减是另一个吸引力。对于 DUG 来说，这是一种降低成本的方法。即使是众所周知难以减少的地震数据，VAST Data 强大的数据缩减功能也可以节省大量资金。DUG 使用 VAST Data 基于相似性的新全局数据压缩方法，减少了不同工作负载的数据，从而节省更多的资金。
DUG 的另一个优势是 VAST Data 全天候远程管理 DUG 的存储。这是 DUG 第一次从供应商为其存储提供远程设备管理中受益。DUG 的更新停机时间为零，并且其 IT 管理员可以放心，因为 VAST Data 正在密切监控其环境的性能和可用性。正因为如此，DUG 可以在不扩大其存储团队的情况下扩展存储容量。
存储作为一项战略资产
采用英特尔技术的 VAST Data 通用存储使 DUG 成功进入新市场成为可能。VAST Data 存储解决方案为 DUG 提供了摆脱普通硬盘所需的容量、性能和可靠性，超越了复杂的 HPC 文件存储技术，并为石油和天然气行业内外的客户提供了领先的客户体验。全硅存储产品提供一致、多样的高性能，使 DUG 能够高效地构建其多租户云环境，以迎接下一波增长。VAST Data 提供的存储、可靠性和易管理性已将存储转变为 DUG 的战略资产，并使其能够更好地实现更广泛的业务目标。
关于 DUG Technology
DUG Technology 拥有超过 17 年的经验，并在珀斯、休斯顿、伦敦和吉隆坡设有数据中心，目前处于 HPC 行业的领先地位。该公司将创新的硬件和软件解决方案相结合，使客户能够利用大型复杂的数据集。DUG Technology 的行业经验和在应用物理方面的强大基础使其能够提供最先进的 HPCaaS，将其直接交付给客户或通过其 DUG McCloud 平台交付。