火狐体育最新官网登录入口 火狐体育app:大数据面试必问 数据存储利器——Hbase 来源:火狐体育最新官网登录入口 作者:火狐体育app 发表时间: 2022-12-06 01:04:30

  HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。

  HBase 是一个分布式的、面向列的分布式数据库,HBase是基于Google 开源的bigtable的实现,面向列的非关系性数据库。在大数据分布式处理中,HBase是必不可少的数据存储“利器”。

  Facebook 在 2010年11 月开始便一直选用 HBase来作为消息平台的存储层技术。

  MySQL + HBase是我们日常应用中常用的两个数据库,分别解决应用的在线事务问题和大数据场景的海量存储问题。

  MySQL:运维简单(组件少)、延时低(访问路径短)HBase:扩展性好、内置容错恢复与数据冗余

  基于列式存储模型,对于数据实现了高度压缩,节省存储成本采用 LSM 机制而不是B(+)树,这使得HBase非常适合海量数据实时写入的场景

  HBase中的数据是按照字典顺序排序的,当大量连续的Rowkey集中写在个别的region,各个region之间数据分布不均衡;

  创建表时没有提前预分区。创建的表默认只有一个region,大量的数据写入当前region;

  partition顾名思义就是分区式,这种分区有点类似于MapReduce中的Partitioner,将区域用长整数作为分区号,每个region管理着相应的区域数据,在rowkey生成时,将ID取模后,然后拼上ID整体作为rowkey,这个比较简单,必须要取样,splitkeys也非常简单,直接是分区号即可。

  声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。

上一篇:松原市公安局大数据智能化建设-新一代公安信息网及数据存储服务器 下一篇:先进数通:载鲲鹏芯片的泰山服务器在2019年已实现批量销售
关注我们
©2022 火狐体育最新登录网址_官网app入口 京公网安备110177777720125 火狐体育最新登录网址|火狐体育app