行业动态 火狐体育app:大数据的存储 来源:火狐体育最新官网登录入口 作者:火狐体育app 发表时间: 2022-12-09 04:34:53

  块存储就好比硬盘一样直接挂载到主机一般用于主机的直接存储空间和数据库应用的存储。它分两种形式

  云存储的块存储具备SAN的优势而且成本低不用自己运维且提供弹性扩容随意搭配不同等级的存储等功能存储介质可选普通硬盘和SSD。

  文件存储与较底层的块存储不同上升到了应用层一般指的就是NAS 一套网络储存设备通过TCP/IP进行访问协议为NFSv3/v4。由于通过网络且采用上层协议因此开销大延时肯定比块存储高。一般用于多个云服务器共享数据如服务器日志集中管理、办公文件共享。

  对象存储具备块存储的高速以及文件存储的共享等特性较为智能有自己的CPU、内存、网络和磁盘比块存储和文件存储更上层云服务商一般提供用户文件上传下载读取的Rest API方便应用集成此类服务。

  分布式系统包含多个自主的处理单元通过计算机网络互连来协作完成分配的任务其分而治之的策略能够更好的处理大规模数据分析问题。主要包含以下两类

  分布式文件系统存储管理需要多种技术的协同工作其中文件系统为其提供最底层存储能力的支持。分布式文件系统 HDFS 是一个高度容错性系统被设计成适用于批量处理能够提供高吞吐量的的数据访问。

  分布式键值系统分布式键值系统用于存储关系简单的半结构化数据。典型的分布式键值系统有Amazon Dynamo以及获得广泛应用和关注的对象存储技术Object Storage也可以视为键值系统其存储和管理的是对象而不是数据块。

  关系型数据库已经无法满足Web 2.0的需求。主要表现为无法满足海量数据的管理需求、无法满足数据高并发的需求、高可扩展性和高可用性的功能太低。

  NoSQL数据库的优势可以支持超大规模数据存储灵活的数据模型可以很好地支持Web 2.0应用具有强大的横向扩展能力等典型的NoSQL数据库包含以下几种键值数据库、列族数据库、文档数据库和图形数据库。

  云数据库是基于云计算技术发展的一种共享基础架构的方法是部署和虚拟化在云计算环境中的数据库。云数据库并非一种全新的数据库技术而只是以服务的方式提供数据库功能。云数据库所采用的数据模型可以是关系数据库所使用的关系模型微软的SQLAzure云数据库都采用了关系模型。同一个公司也可能提供采用不同数据模型的多种云数据库服务。

  采用MPPMassive Parallel Processing架构的新型数据库集群重点面向行业大数据采用Shared Nothing架构通过列存储、粗粒度索引等多项大数据处理技术再结合MPP架构高效的分布式计算模式完成对分析类应用的支撑运行环境多为低成本PC Server具有高性能和高扩展性的特点在企业分析类应用领域获得极其广泛的应用。

  这类MPP产品可以有效支撑PB级别的结构化数据分析这是传统数据库技术无法胜任的。对于企业新一代的数据仓库和结构化数据分析目前最佳选择是MPP数据库。

  基于Hadoop的技术扩展和封装围绕Hadoop衍生出相关的大数据技术应对传统关系型数据库较难处理的数据和场景例如针对非结构化数据的存储和计算等充分利用Hadoop开源的优势伴随相关技术的不断进步其应用场景也将逐步扩大目前最为典型的应用场景就是通过扩展和封装Hadoop来实现对互联网大数据存储、分析的支撑。对于非结构、半结构化数据处理、复杂的ETLExtract-Transform-Load流程、复杂的数据挖掘和计算模型Hadoop平台更擅长。

上一篇:流动存储 为大数据而生 - - 畅享网 下一篇:大数据存储的方式有哪几种 它和传统的数据存储有何区别
关注我们
©2022 火狐体育最新登录网址_官网app入口 京公网安备110177777720125 火狐体育最新登录网址|火狐体育app