行业动态 火狐体育app:在大数据领域中的数据库方案选型思考 来源:火狐体育最新官网登录入口 作者:火狐体育app 发表时间: 2022-12-02 10:50:58

  2021-08-26 20:04 · 长春博立电子科技有限公司研发经理

  1. Hadoop已经是明日黄花,其巅峰早已过去好几年,正在沦为遗留系统,它与MPP(大规模并行处理)数据库在同一个赛道,然而在这个市场里不占优势。而且Hadoop是一个松散的生态圈,不是一个产品,其体系过于庞大,任何一个团队(尤其是中小团队)想hold住它都是非常困难的,而且其开发周期非常长,性能和MPP数据库比起来也不占优势。之前采用Hadoop多是一些国企的政绩工程,而且国企也逐渐发现Hadoop根本不能满足需要,从2018年开始,Hadoop的用户群,已经开始逐步回归MPP数据库。 现在Hadoop的生态已经不行了,HDFS无论从性能还是性价比,都远远不如S3,现在甚至公有云上都买不到HDFS产品,已经完全没有了市场。 行业观点是:Hadoop只是站在巨人的脚趾上,并没有解决行业所面对的什么大问题。 从这一点,我给出的建议是:后续在大数据领域,不要投入人力、财力和精力到Hadoop这个方向上了,需要把精力放在更具前景的大数据存储领域。 2. 各种NoSQL数据库,前些年还是炒作得比较多的,火了有十多年(2005-2017)。但在2017年以后,基本上专业领域就不怎么提NoSQL这个概念了,自从Google在2017年发布了Cloud Spanner后,自我否定了NoSQL方案,回归了SQL,整个行业也开始回归理性。 NoSQL放弃了关系型数据库的很多原动力诉求,如非常重要的ACID事务,这带来的诸多局限性。目前MongoDB是NoSQL领域唯一健壮的产品,但从4.2版本开始,也开始逐步增加事务支持。 个人建议:我们在很多项目的开发过程中,根据项目特点,最初选取的就是MongoDB,但在逐步开发的过程中,我们发现其局限性是我们无法忍受的,最后将数据库方向的技术改为PostgreSQL,也就是俗称的PG数据库。实践证明,还是传统的关系型数据库靠谱一些。因此建议,在未来大数据项目的技术选型时,一定要认线. 有几个概念,未来在做大数据产品的相关宣传时,建议大家加进去: 去IOE:去掉IBM的小型机,Oracle的数据库、EMC的存储设备。无论从国家安全、数据安全,还是从拥有自主知识产权等方面,都可以讲一些故事。 AI/BI一体化:个人觉得这个概念比起AIoT来,更适合套在小规模公司上上,因为很多企业要讲智能物联网,硬件是没法说得通的一个短板。 DBaaS:Database as a Service,之前讲IaaS和PaaS都是虚的,小企业其实根本做不了,也就是SaaS小企业真能做点东西出来。现在多了一个DBaaS,这个其实是一个大家想做,还线. Pivotal这个公司的GreenPlum已经是一个非常成熟的产品,Apache协议开源,单集群下处理20PB级别的数据毫无压力。其本质上是一个MPP的PostgreSQL集群。其用户群已经覆盖了多个行业,包括智能制造、车联网。据说目前正在尝试在国内的车联网企业中落地。 因为我们之前的开发中,已经对PostgreSQL做了一段时间的应用尝试,我们认为GreenPlum这个数据库是非常有前景的。而且这两年国内有好多企事业单位、科研院所以自主知识产权数据库的名义送测的产品,有40%是基于GreenPlum开源代码的,有另外20%多是直接基于PostgreSQL开源代码的。包括华为的高斯数据库也不例外。 个人建议:大数据领域的负责人,应该投入人力专门去研究下GreenPlum,以免与之相关的技术浪潮真的来到国内时,我们无法应对。 5. 几个领域内高级从业人员的看法,以及一些业内动态: a)大数据约等于MPP关系型数据库。这是大数据的本质,想做大数据,就得把这个搞明白。 b)特斯拉在华建厂,对现有的国内车企,尤其是互联网车企是一个比较大的冲击。 c)中国商飞对大数据领域的需求比较大,应该已经开始了基于大数据的飞行动力学模型的研究。 d)AI竞赛对于代码安全和数据安全来讲,问题不大,基于Docker技术,可以有效保护赛事组织者的数据和赛事参与者的代码。 e)美国的禁令很可能对中国使用开源代码造成非常大的困难,理论上美国可以通过法律来禁止中国使用特定开源协议的代码。因此国内诞生了中国首个开源协议:木兰宽松许可证 MulanPSL。 6. 我个人的一些看法: a)做大数据,就得精研数据库。数据库方面,我们值得投入一些人力、财力和精力去深入探索。之前其实有一些潜在机会,是因为我们没有相关领域的人才而放弃的。 b)PostgreSQL、GreenPlum是数据库领域我们值得花时间去深入探索的开源产品。但本组精力有限,只能在云平台产品需要的前提下做较浅的研究,希望公司层面能在这方面有所规划。 c)后续我们完全可以考虑用这类技术,敲开大数据分析领域的市场,尤其是车联网领域。 基本就是这些,希望对大家有所帮助。

上一篇:如何完美地策划一个节日营销活动? 下一篇:大数据分析展示系统数据库选型和实施
关注我们
©2022 火狐体育最新登录网址_官网app入口 京公网安备110177777720125 火狐体育最新登录网址|火狐体育app