可能目前所有的技术都涉及到大数据,但这并不意味着大数据是绝对可靠的。在许多情况下,大数据曾造成过严重事故,但事故的确切原因并不总是很清楚。可能是检测到错误报告、技术故障、缺乏工具、数据不完整、数据不正确甚至是不必要的数据。

数据AI

毫无疑问,如果有上述提到的错误,那最终结果将会与期望值完全不同。更糟糕的是,结果有时可能没有被分析,导致一系列严重的后果。

大数据的缺陷

由于大数据和云的存在,超级计算机才为任何人所用。然而,我们用来分析和应用海量信息的这一工具通常都有一个致命的缺陷。大部分数据分析都是基于错误的模型,因此错误是不可避免的。

问题的起因就是大数据太“大”了。考虑到我们拥有的数据量,有时甚至使用有缺陷的模型来产生有用的结果。有时侯对自己的技术过于自负,当模型出现故障时,结果就会变得非常难看。

大数据失败案例

Google在2008年推出了大数据这项服务,目的是要预测25个国家的流感疫情。逻辑很简单:分析谷歌在特定地区的流感搜索查询。将搜索结果与该地区流感活动的历史记录进行比较。基于这些结果,活动水平被分为低、中、高或极高。

乍一看,这似乎是一个很合理的想法,但实际上并不是这样。在2013年流感高峰期,Google的流感分析一塌糊涂。原因是算法有缺陷,没有考虑到几个因素。例如,如果搜索“冷”或“发烧”这类词,并不一定意味着搜索人正在找流感症状。Google无法从这场灾难般的失误中恢复过来,最终导致了这个项目在2013年崩溃了。

大数据失败的原因

迄今为止,谷歌流感趋势项目并不是唯一失败的。我们需要吸取教训,不要重蹈覆辙。以下是导致大数据失败的一些原因:

1. 缺乏数据调配和数据管理

通常情况下,组织往往不完全了解他们已有的数据,但仍然决定在此基础上开展新的项目。缺乏关于数据处理的文档、存储、策略和其他的程序。这种情况下,大数据咨询公司可以为您的企业提供一个清晰的路线图和指导,说明应该如何处理您已经拥有的数据,这才是正确战胜大数据的第一步。

2. 未定目标和战略

有太多难以理解的IT术语和营销术语,此外,市场上有太多大数据产品,选择合适的产品很困难。在做任何决定之前,找出实现目标所需的服务和技术非常重要。“在大数据上做小数据”,意思是应该在少量数据上评估您的大数据架构,以确保选择正确的产品。

3. 沟通很重要

数据科学和大数据是领域知识、数学、统计专业知识和编程技能的复杂组合。然而,同时它也必须具有商业意义。通常IT部门和管理层不能理解彼此作出的的变更。为了确保您的大数据对IT和业务领导者都有意义,在项目中确保IT人员与业务人员之间保持良好的沟通。

太大太快

当您第一次开始执行大数据项目时,会有很多未定义的因素,比如预算、技术、路线等等。选择一个小项目,并测量成功的几率。基准测试进展的一个好方法是创建原型或验证概念来验证您已经完成的工作。如果早期阶段存在缺陷,那么推进到项目的下一个阶段是没有意义的。

缺乏IT人才

执行项目的人必须精通新技术,这对于快节奏的IT环境来说是一个挑战。

通过迭代来创新

许多组织在决定之行大数据项目时会感到束手无策,这就是为什么采用迭代方法处理大数据至关重要。组织应该尝试设法让员工自由进行数据实验。最重要的大数据技术是开源的,而且,很多平台也可以作为云服务提供便利,从而进一步降低了失败的机率。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2018-01-03 11:29:17
市场情报 2017年终策划:五大锐词带你回顾IT运维这一年
综览2017,作为IT运维领域从业十多年的北塔软件,精心挑选出IT运维领域的五大年度锐词。这些经过重新诠释的语词,浓缩了过去一年中的IT运维技术创新与业界动态,从而帮助你 <详情>
2018-01-03 10:38:24
大数据技术 AI和大数据2017“成长的烦恼”
人工智能和大数据在2017年的发展遇到了以下10个成长的烦恼,包括:人工智能无IQ标准、人工智能延伸边缘、AI嵌入超算和云计算、大数据风口已过、数据保鲜难等等。 <详情>
2017-12-28 15:52:23
市场情报 《2017新科技·新商业年度报告》重磅发布:千亿ABC驱动万亿级新商业市场
12月22日, 30年前,邓小平根据当代科学技术发展的趋势和现状,在全国科学大会上提出了“科学技术是第一生产力”的论断。30年来,这一伟大论断被不断实践和佐证。2017年, <详情>
2017-12-28 10:27:42
大数据应用 数据将主导一切?研究发现53%的公司正在使用大数据分析
研究公司Dresner Advisory Services发现,使用大数据分析公司的比例已经自2015年的17%激增到了2017年的53%。 <详情>
2017-12-28 10:14:00
大数据应用 大数据在金融行业的五大应用与挑战
相比其他行业,金融数据逻辑关系紧密,安全性、稳定性和实时性要求更高,通常包含以下关键技术:数据分析,包括数据挖掘、机器学习、人工智能等,主要用于客户信用、聚类、 <详情>