Hadoop从诞生至今已经十三年了。2006年诞生大数据,2008年成为Apache的顶尖项目,成为国内外互联网大数据的标准配置之一。长久以来,想要入行大数据开发Hadoop也是必学。最近确对Hadoop哀声一片,更多喊得是拥抱云计算,摒弃Hadoop。

目前有一个很悲观的问题,Hadoop正在快速的失去原本属于它的市场。   该领域曾经的领头羊 Cloudera、Hortonworks 和 MapR 三家公司最近步履蹒跚,过去作为数据宠儿的他们可以筹措到源源不断的巨额投资,英特尔公司就曾向 Cloudera 注入 7.66 亿美元,这仅仅是一轮投资的数额,而有趣的是在去年年底Cloudera 和 Hortonworks 宣布合并,并且公告声称这将是“merger of equals(平等的合并)”(也可能是这两家公司无法独自存活了),然鹅MapR 成为了牺牲品,根据 LinkedIn 的数据,在过去两年中,MapR 公司缩水了 29%,Cloudera的股价一下子暴跌40%。  

之前的大数据领域过度炒作,泡沫破灭后归于现实,Hadoop领头羊步履蹒跚。MongoDB数据库越来越受欢迎,与老牌数据库MySQL和Oracle形成三足鼎立的姿态。与MongoDB相似的Elasticsearch分布式搜索和分析引擎背后的Elastic公司一个季度的收入激增70%,员工人数增加一倍。看到这里就纳闷了,MongoDB和Elasticsearch等技术应该是无法撼动Hadoop的,但是现在确发展形式一片大好?   个体开发人员拥抱云   个体假发人员对云的追捧是一个原因。虽然Cloudera、Hortonworks和MapR拼命地从内部部署产品发展而来,来自AWS、微软Azure和谷歌的云原生方案都共同提供了“完全集成的产品,它们的购置成本更低,扩展起来费用更省。”Hadoop最主要的用途一直是廉价存储。云存储变得更便宜,加上S3+ EMR及其他服务的用户体验要好上百千倍。显然,Hadoop可能是传统专有数据仓库的出色替代品,但远不如像基于云的Snowflake这些更现代化的方法那么好。  

“没有人知道这些 Hadoop 公司到底在做什么”。Hadoop 供应商争先恐后地为他们的 Hadoop 产品添加各种开源插件(Impala、Pig、Hive、Flume),发明“解决方案技术栈”,让Hadoop产品更加的繁琐和累赘,成本也越来越高。对比上云,MongoDB与Elasticsearch也是因为它们既能解决了Hadoop相同的问题,使用还比Hadoop简单,简单直接的方案和低廉的成本更适合个体开发人员。  

如今,Cloudera 在其网站首页以粗体字写着:“我们为任何数据提供企业数据云,从 Edge 到 AI ”(We deliver an Enterprise Data Cloud for any data, anywhere, from the Edge to AI)。不再是 Hadoop 和 CDH,不再是大数据。现在他们做企业云和人工智能。Hadoop现在真的很糟糕吗?并没有,Hadoop的过去十年是被炒的火热的技术,非常多的企业在购买这个技术,甚至是一些创业公司也在购买并使用这个技术,“大数据”的炒作和泡沫告诉各个企业,Facebook、LinkedIn、Google这些企业的成功是可以复制的,利用好大数据的力量你也可以达到这样的规模,变得一样成功。总之,“大数据”在销售的不是技术,而是在把IT巨头的成功卖给这些传统企业和创业公司。  

一个十年的结束,一个十年的开始。  

大数据前十年处于一个飞速发展的时期,但是并不代表有些什么新的技术突破可以取代掉“大数据”,Hadoop依然是一种可行的技术,它的时代并没有结束,真正结束的是“大数据”炒作的时代结束了。现在的热门趋势是AI和机器学习,它们讲再次循环一个十年,营销人员不断的推销新软件,还是以IT巨头为代表,让传统行业为其买单,吹起下一个科技泡沫。而接下来的十年Hadoop该何去何从?它还值得你学习吗?   Hadoop的时代并没有结束   个体用户会继续追求简单直接和低成本,大量的需求会出现越来越多的云厂商,这对Hadoop发展很不利,未来将面临更多的挑战。  

很多企业的数据是远远谈不上大数据的范畴的。但是企业只要还在运营,就一定能产生数据,运营的时间越长久,规模越大就一定会遇到“大数据问题”,这是种必然的现象。大数据技术现在只有脱下光鲜亮丽的外衣,脱离聚光灯的照射慢慢沉淀,才会有更多机会的发展,Hadoop技术始终还是值得你学习的。

【凡本网注明来源非中国IDC圈的作品,均转载自其它媒体,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。】

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2019-07-31 13:34:00
大数据资讯 贵州省人大审议大数据安全保障条例(草案)
7月29日,贵州省十三届人大常委会第十一次会议举行第一次全体会议,听取了贵州省人大法制委员会关于《贵州省大数据安全保障条例(草案)》审议结果的报告,并分组审议了《 <详情>
2019-07-31 13:28:21
大数据资讯 贵州:大数据服务队为传统企业“会诊”
日前,贵州省大数据发展管理局和国家工业信息安全发展研究中心共同主办的大数据与实体经济深度融合全国行在贵阳举行启动会。贵州以大数据为传统企业的转型升级“把脉问诊” <详情>
2019-07-31 13:23:06
大数据技术 贵州大数据让脱贫攻坚“大”有可为
前几年,大数据这个词在不少人眼里恐怕还是“高大上”的代名词。随着近几年信息技术高速发展、互联网的快速普及,全球数据爆发增长、海量集聚,大数据应用渗透到我们生活的 <详情>
2019-07-31 09:58:00
大数据技术 运用大数据实现扶贫脱贫“精准”性
2019年中央一号文件将聚力精准施策,决战决胜脱贫攻坚作为一项硬任务,明确要求到2020年确保现行标准下,农村贫困人口实现脱贫、贫困县全部“摘帽”、解决区域性整体贫困。从 <详情>
2019-07-31 09:05:34
大数据技术 中云数据:用去中心化打破孤岛,“数工场” 实现工业数据互联|创业
“工业数据比电商数据复杂的多,首先它多且杂,传统工业企业产生大量数据但不知道如何应用;其次是它数据产生的频率不规律但是要求很严格,尤其数据不能出错,不然会影响整 <详情>