从大数据中获得有价值的洞察是每个企业的愿望，但是无奈理想很丰满，现实很骨感，再加上大数据软件开发人员和IT操作缺乏企业的协调，这也使得从大数据中获得洞察变得更加困难。还有的企业在其支持的其它项目中可能采用了良好的DevOps策略，但是大数据项目往往因为各种原因没有采用。

接下来，本文将来探讨一下DevOps是什么、为什么大数据项目团队不使用DevOps方法、使用DevOps的好处以及将大数据迁移到DevOps模型时可能会面临的挑战。

▲图片来源于informationweek

什么是DevOps?

首先我们先来了解一下DevOps是什么?为什么它会如此受欢迎?DevOps的主要目的是消除软件开发人员和IT基础架构管理员之间的孤岛，以确保每个人都可以专注于单一的目标。中间有一些交叉的训练可以会包含所有人都能理解的使用过程很多术语，但是一旦训练完成，双方又可以各自以清晰的方向继续改进。然后两个团队一起测试环境、调整生产基础架构组件以满足新的软件需求，并最终更快速地为终端用户提供软件修复和功能。

为什么大数据项目不喜欢采用DevOps

IT领导者放弃DevOps的主要原因是大数据科学(特别是大数据的分析科学部分)的复杂性。数据科学是一个比较新的领域，大部分的专家都是外国人，国内的数据专家很少，所以这也导致了分析师无法和大数据开发商协同合作。

为什么大数据需要DevOps

由于分析师和大数据开发商的分离，DevOps在解决其他效率低下的项目中遇到的瓶颈照样会出现在大数据项目中。由于某些大数据项目会比预期的难度更大，所以IT领导者迫于压力会越来越想要早点得到结果，同时这也迫使分析科学家不断改进他们的算法。而分析模型发生的变化往往会和最初的基础设施和资源需求有很大的出入，在这个改变的过程中，运营团队一直被排除在外，所以当基础设施更改需求给到开发人员的时候，你就会发现通信和资源的分配滞后会减缓进度，而且这种放缓会影响大数据分析的潜在竞争优势。这也就是为什么大数据需要DevOps的原因。

集成大数据和DevOps时的挑战

如果你决定把大数据项目迁移到DevOps模型，就一定要了解你将面临的哪些挑战。 例如，如何快速打造探索分析和深度分析的大数据平台。

另外，大多数的专业分析人士都认为自己是社会工程师，而不是数据工程师，所以会有自己要学习的事情。如果在你的DevOps计划中速度是很关键的部分，那么资源协调是至关重要的。还有，大数据DevOps的高效运行还需要额外的人力资源，因为DevOps的价值并不是员工的减少，而是发掘应用程序的潜能。

大数据和DevOps集成的收益远远超过任何其他集成。效率和利益的协调有助于简化流程，加快实时分析变更的能力，从而更有效地利用所挖掘的数据。