12月13日,2018数据资产管理大会在北京国家会议中心举行。本次大会由中国信息通信研究院、中国通信标准化协会(CCSA)主办,CCSA TC601大数据技术标准推进委员会承办,中国IDC圈协办。
会上华为企业BG企业技术服务部大数据服务总监陈飚,发表了“大数据资产管理-从传统到智能”的演讲,以下为演讲实录:
华为企业BG企业技术服务部大数据服务总监陈飚
大家好,各位领导、各位专家、各位嘉宾,大家好,我来自华为企业BG技术服务部的陈飚,大家对于大数据的理解更多的是做手机、做运营商相关的东西,最近的一些新闻大家感觉到华为还是有尖端科技的,有自主的核心的科技,最核心的就是我们的大数据还有AI,讨论到大数据的话,其实在全球我们这个部门主要是做所有的企业客户、政企客户和数据相关的,无论从咨询到落地到规划到实施相关的工作。今天我在这里跟大家分享一下我们在做大数据资产管理上的一些逻辑。
我从这几方面给大家做一个汇报,第一就是挑战,为什么讲挑战呢?因为首先现在我们随着科技的发展,我们经历过互联网时代、计算机时代,现在号称我们进入了数据时代、智能时代,数据驱动决策。但是真正我们现在是进入到数据的时代了吗?其实我们现在是用上了数据,但是我们现在真正离进入数据智能时代还差很远。基本上所有人认为未来数据加上AI会给所有的企业插上翅膀,未来所有的企业将是数据企业、智能企业,大数据驱动创新是每个企业的必经之路。数据加上智能AI将成为和计算机、互联网一样所必需的、基本的一个基础设施,而数据资产也会变成企业的核心的竞争力之一,核心资产之一。
但是,即使我们在现在,我们数据管理已经走过几十年,我们大数据被提出十年以后,现在其实在很多的地方,虽然网上的一些案例比比皆是,说在大数据层面获得了多少成功,有人在2005年曾经说过,数据层面的一些项目,尤其是大数据的一些项目,未来60%会失败,到了2017、2018年我们发现这个数据太乐观了,85%的项目现在我们没有达到一个预期的产出。
我们遇到的问题不是单单我们想到的产品方面的问题、技术方面的问题,更多的是什么问题?更多的是项目和现有系统的对接,政策的阻力、管理的难度、技能的不足、内部风险的把控、安全的把控等等一系列的因素导致现在项目非常大的挑战。但是即使遇到这么多的挑战,有90%以上的企业现在还是觉得他们正在进行甚至他们决定以后加大在AI和数据上面的投入。
IDC的统计显示,我们现在通过AI的项目里面,我们通过前期的AI试用,96%的AI的项目遭遇到的问题也不是AI的技术问题,而是AI的数据问题,为什么这么说呢?因为传统企业的数据都是结构化的,都是来自于各个系统,相互之间的关联、相互之间的标准缺乏。
我们现在用的技术,都不支持数据的管理,怎么办?现在来看,我们觉得真正用好大数据,比选择一个好用的大数据平台或者好用的大数据技术远远有更大的价值。做这件事情之前我们回想一下为什么要做大数据,我们怎么用好大数据?在整个生命周期里面,我们是不是以前只是在最初的一段,并没有用到全生命周期,全生命周期每一个阶段的目标和挑战是什么?这就是对我们方法论上的提高。
以前我们都认为,甚至很多企业都认为数据资产管理只是数据信息化系统中间的一个软件的功能,另外有一些企业认为数据资产管理是一个技术,我们只需要搭一个数据管理的平台,在上面做一些开发,做一些技术,这样的话我们就做一些数据资产管理。其实经过我们的实施发现这个不对,在我们的平台、在开发之间加入了管理的环节,同时更重要的是我们在前面加入了规划环节,在最后加入试用环节。所以我们提出来五阶段的服务解决方案,这是我们第二个看法,数据资产管理不是一个软件功能,一定是一个服务的体系,要通过人、通过流程、通过制度来做。
解决方案主要包括的谋、聚、管、算、用,第一个是大数据的咨询,也就是大数据的规划,我们通过高级的具有前瞻性的一些顾问,做一个五年、三年甚至以后的战略规划以及落地结构。比如我们现在要去做理财,我们首先做的第一部分是要去做风险的评估,到底我们能不能承受这样理财的方式。现在我们管理数据资产,核心要回答两个问题,尤其是高层我们要统一两个认识,这也是刚才尚总提到的我们高层的支持,怎么支持呢?首先我们要得到两个认同:第一,对于数据风险上面的认同,也就是说我们对风险的认识,到底觉得这个数据质量是不是有问题,数据出了错以后感知度怎么样,对于数据的要求是非常高还是一般高还是觉得不重要的,这完全决定了我们后面的一个战略的决策。第二个核心是什么?就要管理我们数据的期望,认为我们整个数据工程达到什么样的目标,这个一定要不停地管理而且是持续的管理,才能保证后面项目的成功。
第二部分就是做大数据工程,就是聚,一个是计算资源的聚,另外一个是数据的聚,我们通过建设节约式的计算和数据中心,把来自不同系统的数据资源和计算资源进行合并,打造平台性的东西,在这里面做我们海量数据的一个存储,同时也做我们未来海量数据碰撞机这样一个东西,这里面我们需要的更多的是数据平台的建筑者,好比以前我们IT领域的IT技术工程师,更多的是这方面的要求。
在建好了平台,第三步,我们数据进来以后遇到的就是管,管就是数据管理,这是传统意义上或者狭义意义上做的数据管理或者数据资产管理的部分,在这里面我们做的要定标准、立规矩、明制度、行指令,保证我们的数据在刚开始可用,在我们计算中间可靠,最后它的结果我们也是可信的。
管理好了数据就是我们的资源,通过我们的资源我们像炼油厂一样进行深化加工,挖掘数据的价值,有了价值的数据就有了资产,所以我们通过大数据分析把数据进行资产化,把数据的价值进行提高,让数据产生新的价值,让废的数据变成高价值的数据。这里面我们需要的是传统的数据科学领域的挖掘者,这就是“算”。
最后一个是用,大家都觉得大数据是使用,但是这个用比我们想象的难度要大。首先我们要把刚才管理出来的数据让大家能够利用到,这也是我们数据的质量要高。第二我们算出来的数据也要让大家能够使用,什么意思?就是我们的经验能够被复用,我们的模型、我们的算法能够被大家所公开,能够在同业之间大家共享,能够进行迭代和积累。最后一个用就是让我们的合作伙伴愿意来使用,这是我们最重要的一点,我们很多的项目碰到最后,我们治理得很好,我们觉得我们搭了非常高质量的平台,但是最后我们得不到客户的认同,得不到业务方的认同,为什么?就是因为我们缺少了我们的合作伙伴,我们缺少了应用,在上面没有长出花。最后我们期望驱动数据的一个资产化、驱动数据的服务化,以数据开放驱动我们的应用创新,跟我们的合作伙伴一起建造一个共创共包的数据生态,这是我们完整的一个五个阶段的解决方案。
怎么样做到这一点?我们在技术上面选择要做四个方面,数据管理是目标,也就是做到企业的数字化转型,数字化转型的核心它的实质无非就是用现有的科学技术,也就是平台来感知现有的世界,并且真实记录我们过往的世界,比如数据。最后利用我们人的智慧和经验,这是我们的算法,计算出来新的价值,并且把这个价值固化和传递,这就是我们的应用。如果能够智能、和谐地管理好这四个因素,这就打造了我们数据资产变现,打造了企业数字化的一个真正增长点的新动力。
数据资产的核心分为这四个方面,我们要用人的智慧感知并且改变我们客观世界,在这里要发展四个核心的能力,第一个能力就是大数据的规划设计,这是大数据资产管理的一个可靠性的一个保障,为什么这么说呢?现在我们每年的数据和应用的增长量超过15%,也就是按照这个增长,我们平均三到五年我们系统的架构甚至我们的容量都会经过翻天覆地的改变,没有一个前瞻性的设计,三到五年我们就会做一次系统的大规模的改造,我们就会做一次业务和数据的搬迁,每到五年的重构完成积累不出来一个宏大的大数据的积累和体系,所以我们一定要在刚开始平台的层面做出一个有前瞻性的部署,而不是打补丁一样,或者修好了再搭马路一样,这是在以往的项目里面沉痛的教训,我们很多经验,尤其是大数据产品甚至数据库的产品,很多拿上来就能实施,但是真的用了一两年换了一两个厂家以后发现达不到相应的目标,这是为什么?也有可能是前面的设计和规划出了问题。
第二是大数据治理,我们传统的数据治理,大数据治理是正确性的保障,保障数据资产是对的,算出来的数字是对的,在这里面做一些可信、可靠传统的保障,在大数据治理和传统数据治理和传统资源管理又有哪些不同?后面我们会通过案例详细来讲。
通过治理好的数据最后我们还要做大数据的分析建模,这是我们第三个核心的能力。大数据的分析我们认为是一个竞争性的保障,不同的企业,不同的部门通过同样的数据变成完全不同的价值,这是竞争性的理念,我们需要有技术理念有一定专业知识的人通过他们经验把我们的资产变成高质量的资产,这就是我们数据分析建模的一个核心理念。
最后大数据的应用支持,这里面我们有单独去开发,而且认为是一个支持,为什么?因为我认为大数据的应用支持,尤其是开发支持是一个赋能是我们大数据整个战略的可持续性的一个保障,未来我们期望无论说是有一个单独的部门来做一个开发,有一个单独的开发部承接所有的开发,而是说未来我们要做到数据的全民化,所有的部门都能够用到数据的支持,能够利用数据的技术达到自己想要达到的价值。就是要客户能力的赋能,几年前还有一个行业专门帮别人打字,现在基本上上网和打字变成大家觉得非常必备的,非常基本的能力,十年以后数据的技术、AI的技术也会全面化,每一个人都会懂,甚至每个人都会用一些语言写一些力所能及的操作,能够挖掘出来一些分析,这是我们觉得大数据分析能够帮助客户能力的赋能,能够做到自主可控、自主发展这样一个目标。这是在技术方面的内容。
接下来我们说生态,讲技术,大家知道华为是坚决地做到生态的概念,在数据资产上面怎么做呢?怎么做到一个全方案呢?华为在下面做一些平台,在上面我们有深度理解行业趋势和客户需求的合作伙伴,通过他们来做完整的方案,在这上面发展平台加生态的战略,通过合作供应打造数据新秩序、数据新社会,有了新秩序和新社会,这样数据资产才有了生存空间,未来才会在上面有一个大舞台。我们有全球超过200个在大数据层面的合作伙伴,包括在座的有很多厂商也是我们的合作伙伴,我们各种渠道的厂商,在这里面超过了500个客户案例,给客户进行大数据化和数据转型的成功的实施。这是我们在生态上面的想法,一定要坚持平台+生态的概念。
另外我们抛出来的观点就是我们一定要找到场景,我们认为找到合适的场景才是资产变现的基础,数据不是收藏品,有价值的数据才是资产,没有价值的数据只是一种累赘,不同的数据在不同的人通过不同的处理方式在不同的场景下面给不同的应用做其实价值是不一样的,就导致它的数据有可能是资产、有可能是累赘。所以我们做数据资产的管理一定要把数据资产管理纳入到我们长期化方案当中,数据资产化管理的目标就是要把数据最后变为生产力。
举个例子,我们通过数据,我们做过数据的驱动设计,用数据驱动开发、用数据驱动过重构,我们通过数据看到我们运维上面的不足,看到我们架构上面的不足,从而我们的客户每年能够节省到上千万元的规模,如果是我们在节省了上千万元给他提供决策的数据应该多少钱呢?它产生了价值。
在业务方面通过数据关联分析,我们甚至能够做到以前做不了的事情,举个例子,公安以前靠抓人都是靠人力,以前看我们的图片或者看我们的判断、看我们案件的推断都是靠人工,虽然现在有了我们的人工智能,其实很多时候在里面很多事情都是靠我们人来做的,通常有一个说法就是有了多少的人工我们才能够输出多少的智能。在这件事情我们怎么样用哪些数据在哪些方面能够产生它高价值的一个场景?这是我们对于数据资产管理非常重要的一点,找到了这个点我们才能够把数据进行资产化。
给大家举个例子,刚才我们讲到大数据的治理,大数据的治理,我们做什么事情呢?通常在这里面有一个生活上面的案例,以前数据在政府里面不可知、不可取、不可控、不可联,我们通过华为大数据治理服务做了四个统一,统一了管理、统一共享、统一规划、统一了标准,最后我们把数据做了标准化、做了基础库等等这些东西让数据能够相互联通,数据从单个的数据化变成了一个资产。这听起来是非常熟的一个案例,无非就是传统的数据治理,数据的问题大家都会遇到,通过数据治理它变成了一个数据的基础部分或者变成了数据的一个标准。
我跟大家分享两点:第一,在大数据时代我们数据治理或者数据资产管理完全不一样。举个例子,我们在这个项目里面有上百个委办局,里面还有各自的系统,每个系统里面都有一份数据,这些系统跑了很多年,里面的数据和业务的结合得非常好,支撑了业务的决策,所以每一个数据非常有用、非常重要。但是收集在一起以后发现数据之间有冲突、有些数据和另外的数据都应和不上,我宁愿不要这份数据可能还能够工作得更好。就好像我们有了很多个钟表反而不知道时间一样,这个时候数据变成了累赘,数据的资产是和我们的场景相关,尤其是和大数据场景相关。
第二,大数据的治理和我们传统的数据治理也不一样,在这个项目里面我们传统的厂商已经做了好几年的努力,为什么最后需要我们重新做呢?我们反思了这个问题,这里面其实我们原本的数据治理和我们传统的数商和传统的企业相关,真正做几百个松耦合数据治理的时候遇到了问题,举个例子,我们经常说的是在数据领域一颗螺丝会打坏一锅汤,在大数据领域基本上找不到好汤了,我们不能保证数据是干净的。在这里面我们做了很多的努力,在这里面我们积累了很多的经验,在这后面我们可以跟大家做一个分析。这里面我们想抛出来以后,大数据资产管理和传统的资产管理差别很大。
最后分享一下华为大数据专业服务,同时基于华为全球大型项目的迭代经验,我们总结出六阶段的方法论,基于这个我们开发出来18个服务产品,其中包括下面的工程到分析到最后的共享开放等等这一系列,前面的规划到后面的运维,运筹帷幄到决胜千里一整套的服务,我们需要和广大的合作伙伴一起共同构建这样的生态,一个合作的生态,我们希望在未来通过华为大平台大家的生态我们共同来参加,能够打造一个数据的新社会,数据资产的新秩序,同时推动数据资产整个往前发展,这是我个人的想法,就分享到这里,谢谢大家。