数据驱动的创新(DDI)已经成为了传统企业数字化转型的核心动力,从流程定义的转型模态化到现在数据驱动的数字化转型。
现代的企业是由数据构成的一个有机生态,在数据的金矿中结合智能技术中寻找新的商业模式、创新产品和服务。但是具体如何去做,会面临哪些问题和挑战,应该如何去应对呢?全球领先的数字化转型咨询和交付服务商ThoughtWorks在2017年和某多业态物流集团客户一起协作,利用创新精益的实施理论,结合大数据和智能算法,开辟了一条数据驱动的企业数字化转型之旅。
客户名称
某超大型多业态物流集团
所属分类
物流.新零售.航空.货运.贸易
案例背景
该客户是一个多业态的物流集团,包括航空货运、物流、零售、机场、跨境电商等多形态业务,集团总部希望打通各业态的用户、订单、支付、产品、服务数据,利用数据产生业务洞察,打造创新产品和服务。该集团是重组后的新生儿,所以业务不协同,数据不共享是与生俱来的现状,这个痛点导致集团的打造数字化智慧物流网络的战略愿景的实现举步维艰。
如何能够打破组织结构的壁垒,将上百个业务系统的业务数据汇聚在一起,通过数据去产生新洞察,发现新业务,打造新产品,验证新想法,从而驱动业务的快速迭代,是这个项目的目标和愿景。而这个项目的特点是,该集团的高层很清晰的知道多板块的融合协同,产生新的产品和服务的目标是建立在数据的打通,数据驱动基础上的,所以一开始就成立了集团的数字化公司,并且由这个数字化公司来推动整个数字化转型。
实施时间
2017年5月启动项目调研
2017年6月完成整体规划
2017年11月数据资产创新平台初步完成
2017年12月,接入一个多个质量较好的数据资产,并开始进行价值挖掘。
2018年5月,完成数据资产创新平台第一版的建设,并且持续在数据中找到了多个业务价值创新点。获得了多个业务放的认可。
实施步骤
整个项目的目标是构建一个企业级的数据资产平台,梳理清晰整个集团的数据资产,并借助数据和智能的算法,在数据资产中发现新的业务价值点,创新产品和服务,从而构建数据驱动的数字化转型。
数据驱动的数字化转型是一个体系化的工作,从理论体系、平台工具、数据、组织、机制五个方面,进行了以下的工作:
1、梳理企业级数据资产(EDF)
基于L-DAMF(Lean Data Asset Innovation Methodology)框架,识别、定位、梳理出集团的数据资产目录,清晰,有体系的组织利用企业的数据。
2、制定精益数据级数据治理体系(Lean Data Governance)
总结管理职责、数据标准、数据质量、挖掘利用、安全规范、数据集成各方面的痛点,现状,打造组织、管理、技术和执行四个维度的精益数据治理体系,建立持续的数据资产保障机制。
3、打造企业数据资产平台(EDP)
分阶段,分步骤,快速迭代,打造企业数据资产平台,实现数据的获取、存储、探索、分析、利用全生命周期价值。为企业的各角色提供对应的数据服务。
4、建立数据分析团队
建立业务分析师、数据分析师和数据工程师为核心的数据组织,持续的挖掘、产生数据洞察。
5、建立数据驱动的创新孵化机制
结合集团的创新孵化投资体系,建立数据驱动的创新孵化机制。
本项目是按照L-DAIM的框架作为指导的。精益数据资产管理的远期目标是构建一个高质量、开放、协作的数据价值生态,让企业的生态相关方都可以在这个价值生态中获取、贡献数据,利用数据探索业务创新,将业务创新落地成服务产生收益,而企业数据资产平台则是这个目标的技术支撑和实现。
精益企业数据资产管理框架(L-DAIM)的实践能够帮助企业体系化管理企业的数据,并且构建可持续的数据资产治理机制,从而产生持续的数据创新:
1、数据资产的识别和治理
数据资产评估模型,帮助企业从业务价值、数据成熟度的角度评估和识别哪些数据是企业的数据资产,他们的成熟度、价值、安全级别是怎样的。
整理企业的数据资产目录,并且对应到这些数据资产目前的源系统、数据质量、数据所有者、利用情况等维度,构建企业数据资产全景图。
建立数据资产的治理体系,从数据质量、数据集成、数据管理、数据利用的角度,构建对应的组织、技术、管理和制度体系,来保证数据资产本身可利用、可挖掘、可审计、可集成。
2、数据资产的获取和存储
构建企业级数据湖,根据企业数据资产目录,将识别出的数据利用对应的数字化技术获取并接入到数据湖,进行安全、高效的存储和监控管理。
3、数据资产的共享和协作
当数据已经按照数据目录的结构存储到数据湖中,如何将这些数据有效的共享分发提供给需要的角色和组织去使用,这是数据资产管理的重要内容。
企业的数据使用方应该能够全面的掌握企业有哪些数据资产,然后可以根据权限高效便捷的获取到这些数据资产和服务,数据资产的使用、分发、下载、都是需要被记录,可追踪,可审计的。数据资产管理框架致力于打造一个安全、开放、共享的数据资产协作体系。
4、数据创新的挖掘和探索
数据创新非常依赖于团队的协作和技术工具,企业数据资产从数据到价值,重要的能力就是如何分析和挖掘这些数据。L-DAIM提供了一套数据价值探索的方法论和实践准则,辅助以数据工程、数据科学的协作平台工具,让数据分析师、数据工程师、数据科学家能够在一个工作台上搜索数据、分析数据、挖掘数据,产生数据洞察。一个业务创新价值,是需要多角色的协作,快速迭代和验证的。L-DAIM通过Data Discovery-Inception的方法,辅助以一套分享、讨论、协作、甄选的创新论坛,帮助企业去识别数据洞察的价值、可行性、优先级,让用户、业务人员、数据分析师、数据工程师和数据科学家通力协作,产生可以落地的业务价值和产品创新。
5、数据服务的构建和管理
数据集、算法、模型和可视化报表等都会以服务的方式提供出来,在统一的服务市场里进行管理,用户可以搜索、获取使用这些服务,并且给这些服务予以反馈、点评,从而识别出优质的服务。
6、资产和服务的交易和管理
最终,数据资产和服务,都是可以被交易的,所有的交易是被监控,被管理的。这个体系里的每一个角色,都能够通过提供数据、提供技术工具、提供分析服务等手段获得对应的价值回报,从而形成协作,共赢的数据价值生态,促进企业的持续数据创新。
精益数据资产管理体系如何能够在企业中发挥作用,是需要一个数字化平台来支撑的。而本项目的目标就是在精益数据资产创新体系基础上构建一个支持持续数据资产创新的平台。
系统架构
本项目采用的架构如下图所示:
整个架构是按照数据工厂(Data Factory)的思路来构建的:
每一个企业未来都是数据驱动的企业,所有的决策,产品的设计、研发、生产、销售都会基于数据来进行。那么每一个企业可以类比城一个数据工厂。
这个工厂有原材料那就是内外部的源数据,源数据通过运输队,也就是数据采集通道获取到原材料仓库中,这里的原材料仓库就是数据湖,数据湖是用来存储原始数据。在原材料的基础上,企业需要一个数据的实验室,在这里,利用数据探索、数据分析等方法,企业的数据科学家和算法工程师与业务人员一起,尝试各种新产品、新服务,进行各种实验。如果实验成功,那么这就变成一个产品的设计方案,进入到车间流水线中量产成一个个的产品,也就是数据服务和应用。这些数据服务和应用是具有业务价值的,是直接能够解决一个或多个业务场景的问题的。
这样的服务和应用就会被放置到企业的服务/应用商店中,供内外部用户所调用。
这个这个过程,都会由办公室来进行整体的监控和管理,这里的办公室就是数据的治理,来确保数据的质量,产品的生产过程,最终服务和应用的交付质量。
在商店里,哪些数据的服务和应用被调用比较多,在大部分情况下,那么这些数据的价值就会比较高。
有了这样一个数据资产创新平台,企业的业务用户、技术人员、数据分析师,数据提供者,数据使用者,都可以在这个平台上开放、共享的协作。
商业收益
在这个项目中,我们帮助客户构建了数据价值的生态:
以业务为目标,以算法模型为工具,在数据的矿山中,识别出了以下种类的业务价值:
打通了过去的数据壁垒,解决了不知道企业有什么数据,存在哪里,如何获取的共享协作问题,构建了适合于这个行业的业务人员的易用的数据挖掘分析工具平台。以下是核心的系统截图:
案例投递企业与作者
ThoughtWorks是全球领先的数字化转型技术服务商,是一群极有天分的软件精英,满怀激情的汇聚在一起,以引导软件创新、设计和交付的革命为己任,助推全球社会变革。我们不仅仅是一家软件公司,同时也是一个社区:我们汇集满怀激情的软件精英,通过技术和客户共同应对最艰巨的挑战。同时我们寻求IT行业的革新,并致力于对社会产生积极的影响力。
史凯(凯哥)是ThoughtWorks数据和人工智能业务负责人。超过15年企业战略咨询及架构实施经验,曾为众多大型企业提供流程再造、IT规划、ERP系统实施、云计算、大数据平台架构实施服务。《连接-数据驱动的数字化转型》的作者,数据驱动的数字化转型的倡导者,精益数据资产创新体的提出者,专注利用数据和智能等数字化技术为传统企业提供数字化转型服务。