近年来,互联网、云计算、移动终端和物联网迅猛发展。日渐复杂的企业客户信息数据、网店交易记录、视频监控终端产生的信息数据,博客、微博、照片、自创视频等,数据每秒都在大量产生……全球在2010 年正式进入ZB(10的21次方)时代。根据IDC的预计,到2020 年全球将总共拥有35ZB 的数据量,较2009 年增长44倍。工信部发布的物联网“十二五”规划,把信息处理技术作为4项关键技术创新工程之一提出来。毋庸置疑,我们已进入“大数据时代”。12月18日,在中国通信标准化协会第十一次会员大会上,中国工程院院士邬贺铨表示,如今移动互联网、下一代互联网、物联网、社交网络、云计算、大数据结合将掀起网络业务发展的新浪潮。
时刻准备应需而变
曾经是摄影代名词的柯达在自己132岁时轰然倒下;同时,1962年创建的零售之王沃尔玛,连续多年蝉联零售商第一;拥有350名员工的FaceBook仅仅用了8年时间,上市首日市值达1152亿美元,成为历史上规模大一宗科技公司IPO.变化带来的不仅是挑战更是机遇甚至是弯道超车的机会。
挑战与机遇面前人人平等,那么眼下ICT行业生存、发展、超越的大动力是什么呢?大动力就是大数据,就是大数据中的大价值。沃尔玛是最早通过利用大数据而受益的企业之一。通过对消费者的购物行为等非结构化数据进行分析,沃尔玛成为最了解顾客购物习惯的零售商,创造了“啤酒与尿布”的经典商业案例。沃尔玛一度拥有世界上大的数据仓库系统,数据中心的数据量是美国国会图书馆的167倍。Facebook每秒钟都在生成海量的结构和非结构化数据,一对一的消费驱动模式中蕴含着用户的消费倾向,“数据”的挖掘分析大幅提升广告的精确投放效果,并且可以通过用户行为预测多个行业的发展趋势,蕴含巨大的商业价值。Facebook 1152亿美元的IPO很大程度上是对大数据中大价值的认同。大数据时代,管理大数据、挖掘大数据中的大价值,就等于抓住了机遇,也就能立于不败之地。
邬贺铨说,整个IT行业价值链正在向内容供应商、数据提供商转型。他以2005年ICP平台服务提供商、电信运营商和IT产品制造商行业前五位公司为例,结果发现卖硬件的不如卖管道的,卖管道的不如卖内容的。如果加上2012年的数据,这一趋势更加明显。这一切说明,数据内容产业具有更高的市值/销售收入比。
挑战与机遇并存
大数据有着4“V”特性:Volume(海量)、Variety(变异)、Velocity(高速)、Value(价值)。要把握大数据,挖掘出大数据中的价值,从技术的角度来说,两个问题需要解决:数据的存储,数据的分析。大数据的Volume 属性——“海量数据”一词从上世纪七十年代延展至今,正在发生从量变到质变的飞跃。所谓质变是说,从来没有一个时期要如此依赖数据,同时,传统的数据处理和数据管理技术正在受到当今“海量数据”的直接挑战。
首先,ZB级的数据管理和数据分析不是传统的IT服务器、磁带、纵向扩展设备能够承载的,数量级和复杂程度到达一个层级,将引导企业进行信息化技术和企业业务的革新。
其次,世界经济形势趋紧,高额的IT预算究竟应该在哪里投入。据调查,企业目前73%的预算都用在基本业务运转上,剩下的才对商业运营有支撑作用。CIO的苦痛在于IT设施不断地膨胀,仅仅是因为业务的数量涨了,但没有给企业经营带来真正的增值。
再次,据统计,ZB级的数据中,80%以上是半结构化、非结构化数据。为了应对“大数据”浪潮,很多企业在具备一定结构化处理能力的基础上,将非结构化数据依托给了Hadoop.但当深入探索之后,有投资人给出了这样的感受——使用Hadoop构建分析性查询,会变成类似用锤子来建造房屋的行为:特定的数据模式分析任务中性能低得可怕;高昂的后期开发和维护任务成本;企业信息孤岛;数据单点故障。
在大数据的道路上,我们还有很长的路要走,怎样能够让大数据为企业和个人服务,创造更多的价值,到头来还是需要让人们看到切实的产品,真正地带来便捷。长江后浪推前浪的时代,如果不想被社会淘汰,面对如此有开发价值的大数据,你准备好了吗?
运营商不能
“守着金山要饭吃”
邬贺铨强调,宽带化、移动互联网、物联网、社交网络、云计算催生大数据,大数据价值的合理共享和利用会创造巨大的财富,大数据将带动新的产业发展,大数据对网络技术发展提出严峻的挑战,大数据呼换创新人才,加大创新力度,迎接大数据时代的到来。
记者认为,对于运营商而言,不能“守着金山要饭吃”,要转变观念,做好现有的数据业务,并在开放的模式下,用灵活的机制与产业链一起将数据业务做大。一是要研究大数据本身的演进规律,这是基本的工作之一。大数据的大不仅体现在海量上,还包括数据本身的不断演化。二是从狭窄的数据业务角度来讲,运营商早已经在做大数据,但其中多数是结构化数据,而对非结构化数据掌握、了解得较少,整合的能力较弱。三是运营商虽然掌握了大量的各种类型的数据,特别是消费行为偏好的数据,但是从数据挖掘到转化为商业价值是运营商从前没有做过的事情。这些都需要具有长期的战略眼光与想法。