企业正努力在产品中部署大数据,这一点是毋庸置疑的。但是,根据Gartner在2016年下半年发布的新闻稿:只有15%的企业将其大数据项目部署到生产中。“Gartner在选词时非常谨慎,这并不意味着剩下的企业没有实践,或者数据科学家没有发现使用大数据技术的优势,只是剩下的85%的项目并没有真正投入生产。

500531985_wx

问题不在于缺少大数据分析或者是大量的数据科学实验。真正的挑战是缺乏大数据自动化能力,以便将实验版本从沙箱推入功能齐全的生产环境中。

大多数人认为分析生产就是调整集群。当然,可以编写一个sqoop脚本并将表格放入一次。但是,在不影响源系统的情况下多次实现则是一个挑战。然后,必须确保构建的数据管道在由服务级别协议(SLA)设置的时间范围内提供数据。此外,数据模型需要针对用户当前正在使用的工具(如Tableau,Qlik等)进行优化,以达到用户所期望的响应能力。

在Hadoop和Spark之上使用工具进行大量的努力和改进以对大型数据集进行快速原型设计。但原型是一回事,创建每天运行而不发生故障的数据工作流程,或者在数据流作业失败时自动启用恢复,又是另外一回事。

本文作者分析了五大大数据项目夭折最常见的技术原因:

1、无法快速加载数据以满足SLA

虽然像sqoop这样的工具支持数据读取的并行化以从传统数据源获取数据到数据湖,但需要专家来使其正常工作。如何划分数据?要运行多少个容器等问题都需要专家给出合适的解决方案。如果无法正确处理并行数据的读取,则一个小时就可完成的任务甚至需要10到20倍的时间,因为大多数人不知道如何正确调整。

2、不能逐步加载数据以满足SLA

大多数企业并未将整个操作转移到大数据环境中。他们从现有的操作系统移动数据以执行新的分析或机器学习,这意味着需要在新数据到达时继续加载。问题是这些环境不支持添加,删除或插入的概念,这意味着必须重新加载整个数据集(请参阅上面的第1点),否则必须围绕一次更改捕获问题编写代码。

3、不能以交互方式提供对数据报告的访问权限

想象一下,如果有1000位商业智能分析师,他们都不想使用您的数据模型,因为他们需要很长时间才能查询。这是Hadoop的一个经典问题,也是许多公司仅使用Hadoop进行预处理和应用特定机器学习算法,但随后将最终数据集移回传统数据仓库以供BI工具使用的原因。无论如何,这个过程又为成功完成大数据项目增加了难度。

4、不能从测试迁移到生产

许多企业能够确定沙箱环境中数据科学家的新见解的潜力。一旦他们确定采纳新的分析方法,就需要从沙盒转移到生产环境。从开发转移到生产是一个完整的升降和换挡操作,通常是手动完成的。虽然它在开发集群上运行良好,但现在相同的数据管道必须在生产集群上重新优化。这种调整往往需要大量的返工才能有效执行。如果开发环境与生产环境有任何不同,则情况尤其复杂。

5、不能管理端到端的生产工作量

大多数企业都将注意力集中在工具上,因此他们的数据分析师和科学家可以更轻松地识别新的方法。但是,他们没有投资类似的工具来运行生产环境中的数据工作流程,因此不得不担心启动、暂停和重新启动过程,还必须担心确保作业的容错性,处理通知以及协调多个工作流以避免“冲突”。

因为上述五大技术原因,导致很多大数据项目并没有如期与我们见面。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2023-08-24 09:38:00
大数据资讯 关注县域数据能力建设,抢占产数业务发展先机
2023年《数字中国建设整体布局规划》正式发布,数据能力已成为我国区域发展的底座和创新引擎。 <详情>
2023-03-30 11:15:07
云资讯 分布式时代已至,数据如何更有价值?
无论是连通各大集群内大型超大型数据中心,还是连接边缘侧小型、边缘数据中心,分布式云计算都已成为这张算力网络最重要的支撑。在此背景下,云计算步入分布式时代。 <详情>
2023-03-01 19:27:00
市场情报 FlagOpen大模型技术开源体系,开启大模型时代“新Linux”生态
大数据+大算力+强算法=大模型”是当前人工智能发展的主要技术路径。语言大模型ChatGPT成为现象级应用,人工智能进入普及应用的新时期。 <详情>
2023-01-09 09:36:46
大数据资讯 我国互联网广告数据匿名实施服务正式上线
《指南》形成的“技术保障、评估规制、过程控制”的互信制衡机制,适用于各类互联网广告业务,包括广告投放、程序化交易、广告监测等应用场景下的数据匿名化处理。 <详情>
2022-12-30 10:10:19
大数据资讯 中国移动磐维数据库正式发布
未来,随着数据库功能和稳定性等进一步增强,磐维数据库将在中国移动内外部的广泛应用中积累更多复杂业务场景实践经验,进一步提升数据库产品的核心技术能力,助力数智化转 <详情>