行业动态 火狐体育app:ActiveScale——HPC场景下的次级存储架构 来源:火狐体育最新官网登录入口 作者:火狐体育app 发表时间: 2022-12-09 05:30:48

  1989年,亚利桑那州惠普尔天文台发现了首个具有0.1 TeV以上伽马辐射的天体,标志着“甚高能”伽马射线天文学时代的开启,在随后的30年里,已经发现超过两百多个“甚高能”伽马射线年,人类才探测到首个具有“超高能”伽马射线辐射的天体。

  以闪存、磁盘和磁带存储而著称的昆腾公司,在数据密集型的高性能计算存储领域也同样建树颇丰。近日,在德国汉堡举办的ISC High Performance 2022展会期间,数据存储专业媒体Blocks & Files,对昆腾公司的产品和科技营销高级总监Eric Bassier进行了专访,讨论了磁带、冷数据存储、高性能运算等方面的议题。以下,为采访的具体内容:

  好的,昆腾虽然在高性能计算的主存储领域涉足不多。但我们有很多的客户,那些遍布世界各地的实验室、生命科学机构,研发型的组织和公司等等,都在通过我们的StorNext文件系统,以及昆腾的磁盘缓存与磁带设备,构建完全属于自己的次级存储架构。

  就您提到的上述HPC客户所拥有的磁盘容量范围和磁带容量范围而言,两者间的平均比例大概在多少呢?

  这取决于客户的具体需求。但通常情况下,磁盘容量的占用比例可能是10%到20%,而磁带容量的占用比例会达到80%甚至90%。

  我们可以在公开场合提及名称的,一家是德克萨斯高级计算中心(TACC);通过StorNext系统和磁带产品的结合,TACC为自身的研究体系,建立了一套集中式的存档系统。然后另一家的大型用户——这也是我们为什么想要参加像ISC这样的展览的原因之一——就是主导英国10万人基因组计划的英国基因组公司(Genomics England)。这个案例,我们是与Weka公司,共同完成的。

  作为文件系统,Weka更适合典型的HPC类型的工作负载;而StorNext系统则擅长于流媒体数据,这就是为什么它非常适合海量视频或影视文件。英国基因组公司(Genomics England)的Weka文件系统,通过闪存介质,构建了3.6 PB的存储容量。

  基因组测序仪的数据首先会落地到这层空间。之后,数据会被转存到我们的ActiveScale对象存储平台之上(截至目前,容量已超过了100PB)。这也对应了我之前提到的,用户超过90%的数据,其实更适合保存于次级存储架构平台之中。

  我想象得到他们数据累积的速度,那么他们是否会考虑将ActiveScale归档体系中的一些更冷的数据;当然,这可能是很大量的数据,将它们转移到磁带上呢?

  是的,其实很多用户都在采取这样的策略。我们在人工智能和机器学习领域有许多深度合作伙伴,他们的负责人告诉我,其实用户的很多数据,即便现在是处于一种冷数据、或者是不活跃的状态。但这都只是暂时的。

  而这些用户自己,其实也无法准确预测,他们什么时候会需要从冷数据层中把某些数据取回来。因此在现实中,即便这样取回数据的需求发生了,用户也只需要5到20分钟,就可以把数据从磁带中调回到主存储系统里面,用户对这样的时间成本没有任何问题。所以,磁带的读写速度从来就不是一个关键因素;更何况磁带介质的绿色环保属性所带来的低成本,可靠性和低功耗表现,只会给用户带来更大的益处。

  就您刚才提到的,昆腾将重心放在了HPC市场的次级存储业务上,我想昆腾的用户,不但会需要快速、直接、轻松地从主存储系统接收数据,并且需要以同样的方式,将冷数据再传送回这些主存储系统之中。从工作流的角度来看,这样的实现会有什么问题吗?

  是的。任何类型的研究工作,都有一套与之切实相关的工作流程。但有一个阶段是普遍存在的:当科学家们完成了对数据的分析(或)处理之后,需要把数据转移到性价比更高的存储设备、或者归档体系之中。而昆腾公司推出了一款业界独家的产品,那就是,将磁带产品,与ActiveScale系统进行了紧密的集成;且不仅仅是以简单的磁带网关的形式而实现的。

  换句话说,我们构建了一种新的对象存储系统,系统之下的磁盘或磁带容量,都使用的是同一个名称空间。HPC应用程序与它交互的方式是通过S3接口进行,这也是将对象读写到磁盘上的标准方式;随后,用户可以使用S3 Glacier API集,或者使用借鉴AWS的数据生命周期策略,通过S3 Standard API集,将对象文件放入磁带,或从磁带中恢复对象。

  当然,业内还有其他的解决方案。比如通过网关将数据传送到磁带上。但这就会涉及比如不同的命名空间、不同的用户界面以及多个关键管理点的系统复杂性问题。所以我们认为ActiveScale系统所能做到的,是独一无二的,因为其是唯一一款,可以在磁盘和磁带上创建对象文件的存储系统;这意味着用户可以更方便地享受到磁带介质的性价比优势。就应用程序与磁带的交互方式而言,我觉得我们做得比过去任何人所做的都要更好。

  当然,还有一项对我们来说属于关键创新的技术,就是我们对磁带上保存的数据进行纠删的方式——这也是一项昆腾拥有专利技术的重要优势。这意味着,用户可以在磁带介质上实现更高持久度的数据,同时还可以获得更优秀的存储效率。我们不是简单地把一个文件复制三份,然后保存起来,这样会造成对磁带容量不必要的消耗;而是对文件进行了纠删处理,然后创建奇偶校验位元,通过条带化的方式,将其保存在磁带之中,从而大大提升了系统的存储效率。

  我们通过此项删码技术实现的另一个创举就是,我们只需要加载一盘磁带,就可以在冷数据归档体系中恢复某个对象文件。这一办法,多年以来一直被业内认为是一项非常困难的技术挑战。

  是的,我们认为这就是行业领域发展的一个方向,出于这样的技术优势,磁带的应用前景将会更为庞大,特别是当你结合客户的实际需求出发的时候。越来越多的超大规模数据中心和互联网企业,已经开始使用磁带产品了,有些用户会选择将其与自身已有的对象存储系统结合起来,通过自己开发的软件进行管理。

  HPC场景的需求,基本与我提到的是相同的,但可能规模会稍微小一些,而且用户也不会投入四五年的时间,来开发自己的对象存储软件代码。所以我们可以说:我们为你建造了这个,把你需要的功能都放在一个盒子里。如果你喜欢AWS Glacier,但你不希望把所有的HPC数据放在公有云端,那么我们已经为你构建了一套本地化的Glacier系统。我们可以在你的单个,或者多个站点对其进行部署。而我们未来甚至可以为用户提供指定的托管服务,这也是我们未来的产品发展方向之一。

  没错。你我都知道,每家客户搭建的私有云环境都各不相同。但大家其实都在关心同一件事情,我们有很多的客户都在询问:“有什么办法能为我们的归档数据构建一朵私有云吗?”而我们的回答就是:“您问对人了。”是的,我们对此感到非常兴奋。

  Blocks&Files认为,昆腾公司通过将StorNext和ActiveScale系统结合起来,形成了一套非常有价值的解决方案。大量的HPC用户们,由于积累了太多的数据,不可能简单地将大量数据存储在自身的主存储系统( 比如闪存存储系统)上;而通过昆腾的解决方案,可以将较旧的数据先分层到近线磁盘,然后再分层到磁带。通过统一的命名空间和地理分布,将磁带和磁盘介质有效地融合到一个拥有统一命名空间的对象存储系统之中,可以让HPC用户们的生活变得更为轻松一些。

  昆腾将于6月24日下午,举行第二季度的Coffee with Quantum线上分享会-夏季篇;期间,我们会为您带来更多关于Scalar i6H磁带库设备,基于Scalar磁带库设备所搭建的ActiveScale对象存储平台,以及昆腾H系列、F系列等等多项最新产品的相关信息分享。若您有意参会,可扫描下方海报中的二维码,进行报名,您还可在报名完成页面中,获取由市场分析公司Horison information strategies出品的,在上文内容中所提及的ActiveScale Cold Storage产品的白皮书内容下载链接。

  昆腾的技术与服务可帮助客户生成、编辑、共享数字内容,并以最低的成本,数十年如一日地保存并守护这些内容的安全。昆腾的产品平台可为高分辨率的视频、图像以及工业物联网等行业的数据提供最佳的处理性能;昆腾解决方案涵盖了数据生命周期的各个阶段,从高性能读取、实时协作和分析,到低成本存档等各个方面。每一天,全球知名的娱乐公司、体育俱乐部、研究组织、政府机构、企业和云服务提供商们,都在通过昆腾的产品与服务,让人们的生活变得更加精彩纷呈。昆腾是纳斯达克(QMCO)上市企业,并于2020年加入罗素2000指数。

上一篇:硬盘已走到极限磁带才是未来? 下一篇:站长跪谢感恩支持!
关注我们
©2022 火狐体育最新登录网址_官网app入口 京公网安备110177777720125 火狐体育最新登录网址|火狐体育app