行业动态 火狐体育app:NVIDIA IPFS 网络存储解决方案赋能大数据时代的数据存储业务 来源:火狐体育最新官网登录入口 作者:火狐体育app 发表时间: 2022-11-29 03:11:09

  随着数字化转型升级及云计算、物联网、人工智能、5G 等新兴技术的迅速发展和应用部署,全球数据量正在无限制地扩展和增加。根据国际权威研究机构 IDC 预测,2018 年到 2025 年之间,全球产生的数据量将会从 33ZB 增长到 175ZB,复合增长率将达到 27%,其中,超过 80% 的增长数据为非结构化数据。

  数据存储技术已成为数字经济发展过程中不可或缺的底层基座。然而,随着非结构化数据不断增加,以服务器为中心的传统分布式存储方案在数据存储容量,成本,速度,安全,稳定,运维等方面已无法满足海量数据603138)存储要求,已成为制约数字经济发展的一个瓶颈。

  在此形式下,NVIDIA 秉持打造低时延、高吞吐、高可靠、开放型基础设施的设计理念,提出了基于IPFS 的高性能 InfiniBand SSD 池化解决方案 , 该解决方案旨在解决传统解决方案痛点,为海量数据存储业务赋能。

  传统解决方案算力高低依赖 CPU / GPU 与 SSD 之间的数据传输带宽,而CPU / GPU 与 SSD 之间带宽又受限于本机 SSD 的数量。在此情况下,提高 SSD 并行性虽可在一定范围内降低计算时间,但会增加集群的采购成本, 并且无法做到无限扩容。

  受限于本机一体架构的制约,传统解决方案通常也无法做到CPU 计算与 GPU 计算的平衡。于此同时,SSD 作为 cache 的利用率偏低,导致使用成本偏高。

  IPFS ( Inter Planetary File System,“星际文件系统” ),是一种点对点(P2P)的分布式文件系统,可提供永久性和安全性存储,保证数据的隐私性,提供更快的数据读/写速度,及无限扩展能力。NVIDIA IPFS 网络存储解决方案,从 SSD 池化入手,借助 InfiniBand 网络极高的传输带宽,基于 Credit 的流控技术保证传输报文不丢包高质量传输,超低的传输时延等特性,将 SSD 从本地计算资源剥离出来,构造成共享存储资源池。

  该解决方案可大幅提高 SSD 输出传输的带宽,有效提高 SSD 的使用率,从而提升了集群整体的数据封装效能,降低了整体采购成本。同时,依托 NVIDIA 的故障快照及网络管理等技术,可提高自动化、管理、监控方面的应用水平,有效降低运维压力。

  超大容量,高性能弹性扩展:整体解决方案将 CPU、GPU、SSD 单元分离,实现池化部署,可提供针对 CPU、GPU 计算单元 100Gbps / 200Gbps 的网络传输带宽,为基 SSD 的全闪服务器配置400Gbps 乃至 800Gbps 的网络带宽。

  打破算力配比束缚,打破性能瓶颈,提高整体性能:整体解决方案具备高度弹性及兼容性,CPU 算力平台兼容 AMD、Intel 众多计算平台;存储资源平台支持 NVMe SSD、Sata SSD、SAS SSD、HDD 等多种存储方案,GPU 算力平台全面支持 CUDA 的显卡,并可按需接入 FPGA。

  复用率高,节约使用成本:相比于单机方案,整体解决方案利用 SSD 共享方式提高了 SSD 的利用率,减少 SSD 使用数量,节约至少50% 的 SSD 采购成本。

  简化算力优化配置,快速实现算力资源解耦:整体解决方案以软件形式动态调整 CPU 与 GPU 算力资源的对应关系,实现 CPU 资 源与 GPU 资源完全解耦,简化计算资源优化配置过程,可快速适配各类业务场景、 大幅降低人力成本及算力切换时间周期。

  不同工作模式自由切换,改造费用低,封装效率高:整体解决方案通过池化及共享方式,可实现 64GB/ 32GB 等不同封装模式的快速切换,整体改造费用低,提高封装效率及提高算力,有效降低运营成本。

  相比于现有集成方案,NVIDIA IPFS 网络存储解决方案可使得整体封装性完整性提升 30%-70% 左右;于此同时,由于采用池化 SDD 方式,提升了 SSD 整体复用率,可有效降低 50% 以上的 SSD 使用成本;综合的性价比提升 20%-30%;通过场景化设计,该解决方案亦可快速适配各类业务场景需要,实现业务模型之间的无缝切换。

上一篇:九卦 新型大数据解决方案数据湖如何建设? 下一篇:大数据开发涉及到的技术分类有哪些
关注我们
©2022 火狐体育最新登录网址_官网app入口 京公网安备110177777720125 火狐体育最新登录网址|火狐体育app