如果数据有一点点就不错了,那么数据是海量的话就一定棒极了,对不对?这就好比说,如果一个炎日夏日里的微风让你感觉凉爽,那么你会为一阵一阵的凉风感到欣喜若狂。

也许对大数据更好的一个类比是它就像一匹意气风发的冠军赛马:通过适当的训练和天赋的骑师,良种赛马可以创造马场记录–但没有训练和骑手,这个强大的动物根本连起跑门都进不了。    

为了确保你组织的大数据计划保持正轨,你需要消除以下10种常见的误解。  

数据_meitu_1

  1.大数据就是‘很多数据’    

大数据从其核心来讲,它描述了结构化或非结构化数据如何结合社交媒体分析,物联网的数据和其他外部来源,来讲述一个”更大的故事”。该故事可能是一个组织运营的宏观描述,或者是无法用传统的分析方法捕获的大局观。从情报收集的角度来看,其所涉及的数据的大小是微不足道的。  

  2.大数据必须非常干净    

在商业分析的世界里,没有“太快”之类的东西。相反,在IT世界里,没有“进垃圾,出金子”这样的东西,你的数据有多干净?一种方法是运行你的分析应用程序,它可以识别数据集中的弱点。一旦这些弱点得到解决,再次运行分析以突出“清理过的”区域。  

  3.所有人类分析人员会被机器算法取代  

数据科学家的建议并不总是被前线的业务经理们执行。行业高管Arijit Sengupta在Tech Republic的一篇文章中指出,这些建议往往比科学项目更难实施。然而,过分依赖机器学习算法也同样具有挑战性。Sengupta说,机器算法告诉你该怎么做,但它们没有解释你为什么要这么做。这使得很难将数据分析与公司战略规划的其余部分结合起来。  

预测算法的范围从相对简单的线性算法到更复杂的基于树的算法,最后是极其复杂的神经网络。  

  4.数据湖是必须的    

据丰田研究所数据科学家JimAdler说,巨量存储库,一些IT经理们设想用它来存储大量结构化和非结构化数据,根本就不存在。企业机构不会不加区分地将所有数据存放到一个共享池中。Adler说,这些数据是“精心规划”的,存储于独立的部门数据库中,鼓励”专注的专业知识”。这是实现合规和其他治理要求所需的透明度和问责制的唯一途径。

  5.算法是万无一失的预言家  

不久前,谷歌流感趋势项目被大肆炒作,声称比美国疾病控制中心和其他健康信息服务机构更快、更准确地预测流感疫情的发生地。正如《纽约客》的Michele Nijhuis在2017年6月3日的文章中所写的那样,人们认为与流感有关词语的搜索会准确地预测疫情即将爆发的地区。事实上,简单地绘制本地温度是一个更准确的预测方法。

谷歌的流感预测算法陷入了一个常见的大数据陷阱——它产生了无意义的相关性,比如将高中篮球比赛和流感爆发联系起来,因为两者都发生在冬季。当数据挖掘在一组海量数据上运行时,它更可能发现具有统计意义而非实际意义的信息之间的关系。一个例子是将缅因州的离婚率与美国人均人造黄油的消费量挂钩:尽管没有任何现实意义,但这两个数字之间确实存在“统计上显著”的关系。  

  6.你不能在虚拟化基础架构上运行大数据应用    

大约10年前,当”大数据”首次出现在人们眼前时,它就是Apache hadoop的代名词。就像VMware的Justin Murray在2017年5月12日的文章中所写的,大数据这一术语现在包括一系列技术,从NoSQL(Mongo DB,Apache Cassandra)到Apache Spark。

此前,批评者们质疑Hadoop在虚拟机上的性能,但Murray指出,Hadoop在虚拟机上的性能与物理机相当,而且它能更有效地利用集群资源。Murray还炮轰了一种误解,即认为虚拟机的基本特性需要存储区域网络(SAN)。实际上,供应商们经常推荐直接连接存储,这提供了更好的性能和更低的成本。  

  7.机器学习是人工智能的同义词    

一个识别大量数据中模式的算法和一个能够根据数据模式得出逻辑结论的方法之间的差距更像是一个鸿沟。IT Pro Portal的Vineet Jain在2017年5月26日的文章中写道,机器学习使用统计解释来生成预测模型。这是算法背后的技术,它可以根据一个人过去的购买记录来预测他可能购买什么,或者根据他们的听歌历史来预测他们喜欢的音乐。  

虽然这些算法很聪明,但它们远远不能达到人工智能的目的,即复制人类的决策过程。基于统计的预测缺乏人类的推理、判断和想象力。从这个意义上说,机器学习可能被认为是真正AI的必要先导。即使是迄今为止最复杂的AI系统,比如IBM沃森,也无法提供人类数据科学家所提供的大数据的洞察力。  

  8.大多数大数据项目至少实现了一半的目标    

IT经理们知道没有数据分析项目是100%成功的。当这些项目涉及大数据时,成功率就会直线下降,New Vantage Partners最近的调查结果显示了这一点。在过去的五年中,95%的企业领导人表示,他们的公司参与了一个大数据项目,但只有48.4%的项目取得了”可衡量的结果”。  

New Vantage Partners的大数据执行调查显示,只有不到一半的大数据项目实现了目标,而“文化”变化是最难实现的。  

事实上,根据2016年10月发布的Gartner的研究结果,大数据项目很少能跨过试验阶段。Gartner的调查发现,只有15%的大数据实现被部署到生产中,与去年调查报告的14%的成功率相对持平。    

 9.大数据的增长将减少对数据工程师的需求  

如果你公司大数据计划的目标是尽量减少对数据科学家的需求,你可能会得到令人不快的惊喜。2017RobertHalf技术薪资指南指出,数据工程师的年薪平均跃升到13万美元和19.6万美元之间,而数据科学家的薪资目前平均在11.6万美元和16.3万美元之间,而商业情报分析员的薪资目前平均在11.8万美元到13.875万美元之间。  

  10.员工和一线经理将张开双臂拥抱大数据    

New Vantage Partners的调查发现,85.5%的公司都致力于创造一个“数据驱动的文化”。然而,新的数据计划的整体成功率仅为37.1%。这些公司最常提到的三个障碍是缺乏组织一致性(42.6%),缺乏中层管理人员的采纳和理解(41%),以及业务阻力或缺乏理解(41%)。  

未来可能属于大数据,但获得这一技术的好处需要大量的针对多样人性的老式辛勤工作。

关注中国IDC圈官方微信:idc-quan或微信号:821496803 我们将定期推送IDC产业最新资讯

扫描二维码,将会有专人将您拉进“大数据交流群”“云计算交流群”“区块链交流群”“物联网交流群”

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2017-09-06 14:53:00
大数据资讯 大数据浪潮席卷全球,为何大数据如此重要?
毫无疑问,各行各业因为大幅爆发的数据而正变得蒸蒸日上。在这10年中,几乎所有行业都或多或少的受到这一巨变的影响。科技渗透到各个领域,并且已经成为每个处理单元的必要 <详情>
2017-09-06 14:48:00
大数据资讯 用户数据泄露将罚款10万,快递行业该如何保护数据安全
互联网时代,网购已经成为了每个人熟悉的购物方式。不过其中也出现了很多问题点,如快递物品丢失,损坏或者用户隐私信息遭泄露等。而这次征求意见就是出于此目的,希望更加 <详情>
2017-09-06 14:43:00
大数据应用 人脸识别技术多领域应用 有望开辟新市场蓝海
在前些年,人脸识别技术似乎还只是科幻电影中的“标配”技术,然而近两年来,这一技术的商用化进程令人吃惊,仿佛“忽如一夜春风来,千树万树梨花开”,在多个领域都实现了 <详情>
2017-09-06 14:06:00
大数据资讯 人工智能将为云计算行业带来一场新革命
当我们从头梳理云计算发展历程,可以发现,如果以1959年首篇虚拟化论文发表为起点,在分布式计算、网格计算、虚拟化等技术基础上发展起来的云计算已经走过了数十个年头。 <详情>
2017-09-06 11:53:50
大数据资讯 中国AI创新引发世界关注 AI与大数据连接应用前景远大
中国未来在AI领域中的突破,不管是理论还是应用,在很大程度上都可能是国际合作的成果,必然会给其他国家带来益处。 <详情>