如果数据有一点点就不错了,那么数据是海量的话就一定棒极了,对不对?这就好比说,如果一个炎日夏日里的微风让你感觉凉爽,那么你会为一阵一阵的凉风感到欣喜若狂。

也许对大数据更好的一个类比是它就像一匹意气风发的冠军赛马:通过适当的训练和天赋的骑师,良种赛马可以创造马场记录–但没有训练和骑手,这个强大的动物根本连起跑门都进不了。    

为了确保你组织的大数据计划保持正轨,你需要消除以下10种常见的误解。  

数据_meitu_1

  1.大数据就是‘很多数据’    

大数据从其核心来讲,它描述了结构化或非结构化数据如何结合社交媒体分析,物联网的数据和其他外部来源,来讲述一个”更大的故事”。该故事可能是一个组织运营的宏观描述,或者是无法用传统的分析方法捕获的大局观。从情报收集的角度来看,其所涉及的数据的大小是微不足道的。  

  2.大数据必须非常干净    

在商业分析的世界里,没有“太快”之类的东西。相反,在IT世界里,没有“进垃圾,出金子”这样的东西,你的数据有多干净?一种方法是运行你的分析应用程序,它可以识别数据集中的弱点。一旦这些弱点得到解决,再次运行分析以突出“清理过的”区域。  

  3.所有人类分析人员会被机器算法取代  

数据科学家的建议并不总是被前线的业务经理们执行。行业高管Arijit Sengupta在Tech Republic的一篇文章中指出,这些建议往往比科学项目更难实施。然而,过分依赖机器学习算法也同样具有挑战性。Sengupta说,机器算法告诉你该怎么做,但它们没有解释你为什么要这么做。这使得很难将数据分析与公司战略规划的其余部分结合起来。  

预测算法的范围从相对简单的线性算法到更复杂的基于树的算法,最后是极其复杂的神经网络。  

  4.数据湖是必须的    

据丰田研究所数据科学家JimAdler说,巨量存储库,一些IT经理们设想用它来存储大量结构化和非结构化数据,根本就不存在。企业机构不会不加区分地将所有数据存放到一个共享池中。Adler说,这些数据是“精心规划”的,存储于独立的部门数据库中,鼓励”专注的专业知识”。这是实现合规和其他治理要求所需的透明度和问责制的唯一途径。

  5.算法是万无一失的预言家  

不久前,谷歌流感趋势项目被大肆炒作,声称比美国疾病控制中心和其他健康信息服务机构更快、更准确地预测流感疫情的发生地。正如《纽约客》的Michele Nijhuis在2017年6月3日的文章中所写的那样,人们认为与流感有关词语的搜索会准确地预测疫情即将爆发的地区。事实上,简单地绘制本地温度是一个更准确的预测方法。

谷歌的流感预测算法陷入了一个常见的大数据陷阱——它产生了无意义的相关性,比如将高中篮球比赛和流感爆发联系起来,因为两者都发生在冬季。当数据挖掘在一组海量数据上运行时,它更可能发现具有统计意义而非实际意义的信息之间的关系。一个例子是将缅因州的离婚率与美国人均人造黄油的消费量挂钩:尽管没有任何现实意义,但这两个数字之间确实存在“统计上显著”的关系。  

  6.你不能在虚拟化基础架构上运行大数据应用    

大约10年前,当”大数据”首次出现在人们眼前时,它就是Apache hadoop的代名词。就像VMware的Justin Murray在2017年5月12日的文章中所写的,大数据这一术语现在包括一系列技术,从NoSQL(Mongo DB,Apache Cassandra)到Apache Spark。

此前,批评者们质疑Hadoop在虚拟机上的性能,但Murray指出,Hadoop在虚拟机上的性能与物理机相当,而且它能更有效地利用集群资源。Murray还炮轰了一种误解,即认为虚拟机的基本特性需要存储区域网络(SAN)。实际上,供应商们经常推荐直接连接存储,这提供了更好的性能和更低的成本。  

  7.机器学习是人工智能的同义词    

一个识别大量数据中模式的算法和一个能够根据数据模式得出逻辑结论的方法之间的差距更像是一个鸿沟。IT Pro Portal的Vineet Jain在2017年5月26日的文章中写道,机器学习使用统计解释来生成预测模型。这是算法背后的技术,它可以根据一个人过去的购买记录来预测他可能购买什么,或者根据他们的听歌历史来预测他们喜欢的音乐。  

虽然这些算法很聪明,但它们远远不能达到人工智能的目的,即复制人类的决策过程。基于统计的预测缺乏人类的推理、判断和想象力。从这个意义上说,机器学习可能被认为是真正AI的必要先导。即使是迄今为止最复杂的AI系统,比如IBM沃森,也无法提供人类数据科学家所提供的大数据的洞察力。  

  8.大多数大数据项目至少实现了一半的目标    

IT经理们知道没有数据分析项目是100%成功的。当这些项目涉及大数据时,成功率就会直线下降,New Vantage Partners最近的调查结果显示了这一点。在过去的五年中,95%的企业领导人表示,他们的公司参与了一个大数据项目,但只有48.4%的项目取得了”可衡量的结果”。  

New Vantage Partners的大数据执行调查显示,只有不到一半的大数据项目实现了目标,而“文化”变化是最难实现的。  

事实上,根据2016年10月发布的Gartner的研究结果,大数据项目很少能跨过试验阶段。Gartner的调查发现,只有15%的大数据实现被部署到生产中,与去年调查报告的14%的成功率相对持平。    

 9.大数据的增长将减少对数据工程师的需求  

如果你公司大数据计划的目标是尽量减少对数据科学家的需求,你可能会得到令人不快的惊喜。2017RobertHalf技术薪资指南指出,数据工程师的年薪平均跃升到13万美元和19.6万美元之间,而数据科学家的薪资目前平均在11.6万美元和16.3万美元之间,而商业情报分析员的薪资目前平均在11.8万美元到13.875万美元之间。  

  10.员工和一线经理将张开双臂拥抱大数据    

New Vantage Partners的调查发现,85.5%的公司都致力于创造一个“数据驱动的文化”。然而,新的数据计划的整体成功率仅为37.1%。这些公司最常提到的三个障碍是缺乏组织一致性(42.6%),缺乏中层管理人员的采纳和理解(41%),以及业务阻力或缺乏理解(41%)。  

未来可能属于大数据,但获得这一技术的好处需要大量的针对多样人性的老式辛勤工作。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2023-09-08 10:32:11
市场情报 亚马逊云科技针对人工智能/机器学习工作负载推出多项存储新服务及功能
存储服务的新功能重点包括为支持人工智能/机器学习、大数据分析等数据密集型工作负载进一步提升Amazon Elastic File System(Amazon EFS)读取和写入性能,以及Amazon Elas <详情>
2023-08-24 09:38:00
大数据资讯 关注县域数据能力建设,抢占产数业务发展先机
2023年《数字中国建设整体布局规划》正式发布,数据能力已成为我国区域发展的底座和创新引擎。 <详情>
2023-07-24 16:26:35
市场情报 亚马逊云科技人工智能与机器学习技术助力科学家绘制完整的脑部地图
艾伦研究所数据和技术主管Shoaib Mufti带领团队与亚马逊云科技合作,将利用这张脑图创建全球大的脑细胞开源数据库。这是人类首次对关于哺乳动物大脑结构和功能的大规模数据 <详情>
2023-07-14 17:09:54
国内资讯 上海统筹布局长三角公共算力中心
到2023年底,上海将依托上海市人工智能公共算力服务平台,接入并调度4个以上算力基础设施。 <详情>
2023-07-14 13:56:00
互联网 8月起施行!国家网信办等七部门发布《生成式人工智能服务管理暂行办法》
《办法》规定了安全评估、算法备案、投诉举报等制度,明确了法律责任。 <详情>