大数据中获得有价值的洞察是每个企业的愿望,但是无奈理想很丰满,现实很骨感,再加上大数据软件开发人员和IT操作缺乏企业的协调,这也使得从大数据中获得洞察变得更加困难。还有的企业在其支持的其它项目中可能采用了良好的DevOps策略,但是大数据项目往往因为各种原因没有采用。

接下来,本文将来探讨一下DevOps是什么、为什么大数据项目团队不使用DevOps方法、使用DevOps的好处以及将大数据迁移到DevOps模型时可能会面临的挑战。

大数据战略_meitu_2

▲图片来源于informationweek

什么是DevOps?

首先我们先来了解一下DevOps是什么?为什么它会如此受欢迎?DevOps的主要目的是消除软件开发人员和IT基础架构管理员之间的孤岛,以确保每个人都可以专注于单一的目标。中间有一些交叉的训练可以会包含所有人都能理解的使用过程很多术语,但是一旦训练完成,双方又可以各自以清晰的方向继续改进。然后两个团队一起测试环境、调整生产基础架构组件以满足新的软件需求,并最终更快速地为终端用户提供软件修复和功能。

为什么大数据项目不喜欢采用DevOps

IT领导者放弃DevOps的主要原因是大数据科学(特别是大数据的分析科学部分)的复杂性。数据科学是一个比较新的领域,大部分的专家都是外国人,国内的数据专家很少,所以这也导致了分析师无法和大数据开发商协同合作。

为什么大数据需要DevOps

由于分析师和大数据开发商的分离,DevOps在解决其他效率低下的项目中遇到的瓶颈照样会出现在大数据项目中。由于某些大数据项目会比预期的难度更大,所以IT领导者迫于压力会越来越想要早点得到结果,同时这也迫使分析科学家不断改进他们的算法。而分析模型发生的变化往往会和最初的基础设施和资源需求有很大的出入,在这个改变的过程中,运营团队一直被排除在外,所以当基础设施更改需求给到开发人员的时候,你就会发现通信和资源的分配滞后会减缓进度,而且这种放缓会影响大数据分析的潜在竞争优势。这也就是为什么大数据需要DevOps的原因。

集成大数据和DevOps时的挑战

如果你决定把大数据项目迁移到DevOps模型,就一定要了解你将面临的哪些挑战。 例如,如何快速打造探索分析和深度分析的大数据平台。

另外,大多数的专业分析人士都认为自己是社会工程师,而不是数据工程师,所以会有自己要学习的事情。如果在你的DevOps计划中速度是很关键的部分,那么资源协调是至关重要的。还有,大数据DevOps的高效运行还需要额外的人力资源,因为DevOps的价值并不是员工的减少,而是发掘应用程序的潜能。

大数据和DevOps集成的收益远远超过任何其他集成。效率和利益的协调有助于简化流程,加快实时分析变更的能力,从而更有效地利用所挖掘的数据。

 

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2023-08-24 09:38:00
大数据资讯 关注县域数据能力建设,抢占产数业务发展先机
2023年《数字中国建设整体布局规划》正式发布,数据能力已成为我国区域发展的底座和创新引擎。 <详情>
2023-03-30 11:15:07
云资讯 分布式时代已至,数据如何更有价值?
无论是连通各大集群内大型超大型数据中心,还是连接边缘侧小型、边缘数据中心,分布式云计算都已成为这张算力网络最重要的支撑。在此背景下,云计算步入分布式时代。 <详情>
2023-03-01 19:27:00
市场情报 FlagOpen大模型技术开源体系,开启大模型时代“新Linux”生态
大数据+大算力+强算法=大模型”是当前人工智能发展的主要技术路径。语言大模型ChatGPT成为现象级应用,人工智能进入普及应用的新时期。 <详情>
2023-01-09 09:36:46
大数据资讯 我国互联网广告数据匿名实施服务正式上线
《指南》形成的“技术保障、评估规制、过程控制”的互信制衡机制,适用于各类互联网广告业务,包括广告投放、程序化交易、广告监测等应用场景下的数据匿名化处理。 <详情>
2022-12-30 10:10:19
大数据资讯 中国移动磐维数据库正式发布
未来,随着数据库功能和稳定性等进一步增强,磐维数据库将在中国移动内外部的广泛应用中积累更多复杂业务场景实践经验,进一步提升数据库产品的核心技术能力,助力数智化转 <详情>