如何实现数据分析的工业化?

为了更好地利用大数据的体量、速度和多样性,让大数据为自己服务,企业需要流程、结构和透明度,而工业化提供了这三样东西。如果你真的想从数据中提取价值,并使你的公司像一台润滑效果良好的机器那样顺畅运转,你必须具备规模化的能力,但规模化的能力是大数据大的难题之一。

只要那些流程的设计和实施做到了着眼全局而非各自为政,当分析得到了带动和长期持续下去的保证时,所谓的“工业化”便已成形。而这就是所谓的分析运维(Analytics Ops),在数据科学领域又被称作为开发运维(Dev Ops)。     

顾名思义,工业化意味着自动化,能够实现事半功倍的效果。以前,农民用牛犁一块地需要花费几天时间,但现在用拖拉机只需要几个小时。同样,现在企业可以也用先进的算法“耕耘”大片的“数据田地”。把见解作为可交付产品的工厂也许是对此更恰当的比喻。例如,设想有一条流水线,使你可以进行数据的收集、整理、分类,准备好供建模、分析和产生见解所用。这就是我们正在迈进的方向吗?是的。这是必要的吗?没错。     

原因在于,为了更好地利用大数据的体量、速度和多样性,让大数据为自己服务,企业需要流程、结构和透明度,而工业化提供了这三样东西。如果你真的想从数据中提取价值,并使你的公司像一台润滑效果良好的机器那样顺畅运转,你必须具备规模化的能力,但规模化的能力是大数据大的难题之一。工业化是解决之道。工业化的基本定义就是堪称革命性的规模化能力,而规模化几乎总是意味着使向来手动完成的工作自动化。流水线就是明显的例子。     

流水线方法的基础是建立一套支持数据分析的流程。这是一种协作的方法,需要跨职能合作和C级高管努力推动公司上下参与其中。但从数据中获取见解的流程如何实现自动化?     

让我们来看看制造业的工业化,这是流程的最初起源。多年来,生产经理强调质量控制和流程改进。如果想使数据分析工业化,就需要对数据分析及受其驱动的经营活动采取同样的质量控制措施。你制定的任何解决方案都应该考虑以下几点:     

1. 数据管理:这里涉及的考虑是,数据科学家在创建分析数据集时,应该确保数据一脉相承,提供适当的治理,避免陷入不可识别资产的数据沼泽。应同样对待的还有文档、记录、代码、数据样本、修改日志,以及确保资产整理妥当,可随时用于消费。     

2.开发:这里指的是将跟可视化和数据浏览界面一起整合进同一工作台的建模工具。再有就是知识管理,要通过这种方法来存储你正在创建的模型的信息。     

3.部署:这部分涉及到生产模型的创建,而这些模型将在以后用在经营活动中。对此需要模型管理,比如维护版本历史信息,训练数据集以供审核,以及推广模型的相关流程。还应该着重强调效率和受控执行。数据平台为分析处理的工作提供了很多选择,但必须保证模型被部署到另一个平台上时,业务逻辑依然如昔。     

4.维护:操作系统堪称流程的“书立”。你最初从应用系统获得数据,你的分析则是最终交付产品,将被应用和操作流程所使用。由于这些流程所固有的操作依赖性,因此应该实行严格的路径规定,包括为所有的活动创建操作日志,以及在发生模型偏移时记录异常情况。     

随着数据和分析工具的激增,企业将继续寻求庞大数据集的力量,因为有数据就有见解,有见解就有价值。但想要做到这一点,就必须把工业化的准则融入到数据分析中。     

只要那些流程的设计和实施做到了着眼全局而非各自为政,当分析得到了带动和长期持续下去的保证时,所谓的“工业化”便已成形。而这就是所谓的分析运维(Analytics Ops),在数据科学领域又被称作为开发运维(Dev Ops)。凭借数据分析的工业化改造,只要处理速度达到了一定水平,企业就能降低成本,加快创新,为市场带来新的能力。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2023-08-24 09:38:00
大数据资讯 关注县域数据能力建设,抢占产数业务发展先机
2023年《数字中国建设整体布局规划》正式发布,数据能力已成为我国区域发展的底座和创新引擎。 <详情>
2023-03-30 11:15:07
云资讯 分布式时代已至,数据如何更有价值?
无论是连通各大集群内大型超大型数据中心,还是连接边缘侧小型、边缘数据中心,分布式云计算都已成为这张算力网络最重要的支撑。在此背景下,云计算步入分布式时代。 <详情>
2023-03-01 19:27:00
市场情报 FlagOpen大模型技术开源体系,开启大模型时代“新Linux”生态
大数据+大算力+强算法=大模型”是当前人工智能发展的主要技术路径。语言大模型ChatGPT成为现象级应用,人工智能进入普及应用的新时期。 <详情>
2023-01-09 09:36:46
大数据资讯 我国互联网广告数据匿名实施服务正式上线
《指南》形成的“技术保障、评估规制、过程控制”的互信制衡机制,适用于各类互联网广告业务,包括广告投放、程序化交易、广告监测等应用场景下的数据匿名化处理。 <详情>
2022-12-30 10:10:19
大数据资讯 中国移动磐维数据库正式发布
未来,随着数据库功能和稳定性等进一步增强,磐维数据库将在中国移动内外部的广泛应用中积累更多复杂业务场景实践经验,进一步提升数据库产品的核心技术能力,助力数智化转 <详情>