9月1日,由工业和信息化部指导,中国信息通信研究院、中国通信标准化协会主办,数据中心联盟承办的“2016可信云大会”在京隆重召开。在9月2日下午的大数据分论坛上,Hulu大数据架构组负责人董西城发表了题为《Spark2.0新特性与展望》的演讲。

dongxicheng

Hulu大数据架构组负责人 董西城

以下是演讲实录:

大家好,我叫董西城,今天很高兴跟大家分享Spark2.0。我我现在是就职于美国的一家公司,做正版的美剧和电影。主要的市场是在北美。我之前写过Hadoop的技术内幕这本书,主要工作是围绕Hadoop和Spark方面。

今天主要介绍的是Spark2.0,我会从以下几个角度给大家剖析Spark2.0。

首先简单介绍Spark,第二部分是会给大家谈谈当前Spark在互联网公司的应用,都做什么。第三部分是Spark2.0里面新的一些特性。

第一部分,Spark2.0的简介。

Spark主要是原自于Mapreduce,是美国的一些大学的博士一些大数据的研究,首先是Mapreduce有一些局限性,它受限,你要实现复杂的功能,要做很多的工作。大家从名字上也可以看出来,Mapreduce的优点是写起程序来非常简单,缺点是太简单了,以至于写复杂的程序要做大量的工作。第二个是性能,十年前磁盘是比较廉价的,内存是比较昂贵的,那时候很多的观念都是基于磁盘上设计一些都是,而Mapreduce是这样做的,很多的设计理念是基于磁盘进行的。所以导致他的性能非常低效。而到今天已经发生了变化了,磁盘已经成为过去了,所以在这块做了一些尝试,想尽可能的在内存上做一些工作,优化框架。

另外一个背景是多种框架并存。当研究Mapreduce的这些人,在设计Mapreduce的时候,发现了当时多种框架是并存的,当时有三种并行计算的场景,第一个是批处理,比如说我要产生一个报表,明天看到就可以了。最典型的是批处理,当时简单的是Mapreduce/Hive,第二个是交互式处理,最典型的是impala/presto,第三种是实时处理,典型的是storm。像阿里巴巴有个滚动的大屏幕,要实时的统计截至1点的时候交易量是多少,那是实时的统计,实时的汇总交易数据,做一个汇总展示,这是一个实时数据,有一笔记录我就做一个汇总。这是多种框架并存的局面。

如果你们公司每一种应用场景都需要的话,你可能至少要有三套系统,有三个集群,这样的话管理起来,运行起来非常的麻烦。是不是能设计一套系统解决这三个场景,而且他们是一套,这样的话学习起来都是统一的,接口都是统一的,维护起来也是统一的。而不是说你要搭建三套,每一套都需要单独学习,因为它由不同的生态构成的。这样的话,你需要三个系统,这三个系统是完全的不同的方式,你的学习成本和运维成本都会非常高。

那么我们做了一个尝试,Spark的特点,一个是非常的高效,统计上看,比Mapreduce快10到100倍,从数据上可以看到,Mapreduce是非常慢的框架。快多少倍取决于具体的场景。为什么这么高效呢?第一,它是DAG的引擎,而Mapreduce也可以把它看成DAG的引擎,但是是非常简单的,它只有两个,点和边。如果想做非常复杂的运算,是非常非常大量的作业。如果你用Mapreduce做的话这个要做四个作业,这个是通过存储不不同的Mapreduce作业衔接在一起的。而通用的DAG引擎,所有的数据都不需要落在这种文件系统里,直接可以通过流式的,或者是其它的方式衔接起来。这是Spark的一个核心的设计理念。

第二个,它可以充分的使用内存。SparK提供了充分使用内容的能力,可以把数据处理完之后做落到磁盘上或者是其它地方,是非常灵活的。实际上,如果你不想用内存,可以关掉,这个时候可以做一些简单的运算。

另外是易用的,提供了四种编程语言,代码量也比Mapreduce要小2到5倍。现在有一个趋势,就是还是编程语言越来越受欢迎,鄙视说Scala,python。

第三个是与Hadoop集成,可以读写hdfs/hbase,与YARN集成。

Spark核心理念,一个是RDD,弹性分布式数据集,对分布式数据抽象,你可以采用其它方式来实现,也是没有问题的。在RDD上,如果把这个数据转成RDD后,它提供了丰富的编程接口。比说有map,filter等等,有多少个结点都可以扩展。

Spark还有个非常强大的方式,就是部署方式非常的灵活,你可以运行在本地,也可以运行在standalone上,也可以部署在mesos/yarn。

Spark是一个生态系统,很多人不会编程,你可以用Spark SQL处理,你只要会写SQL就OK了。你有图的数据,做图计算,可以使用Graphx,如果你想做距离的分类,推荐等等,有一个Mllib,这样的话,你直接利用这里提供的就OK了,Spark是一个生态系统,是一个软件站。不同的软件会解决不同的问题,比如说是不是我只用SQL就行了,不好意思,有一些机器学习算法不可能只用SQL来表达,大数据,包括人工智能,这些机器学习,深度学习已经越来越流行。这块是SQL解决不了的,很多必须要用APR来写,当然更多的是做一些实时统计,这种可以Spark SQL。随着大数据地发展,很多很多的数据处理都逐渐的流式化,所以streaming也越来越受欢迎。

接下来我们看一下Spark在互联网上的应用。

这是做了一个汇集,首先第一个是腾讯,它用Spark做什么呢?一个产品是广点通,这里面有一个推荐的功能,这里主要是用Spark实现算法,就是迭代,直到得到这个模型就停止了。在腾讯内部得到了广泛的应用。另外是日志分析,现在转移到了SparkSQL,这是实现的一些算法,预测用户的广告点击概率,计算两个好友间的共同好友数。

阿里巴巴有哪些应用呢?主要是在搜索和广告业务里用到了Spark。之前他们的很多算法都是用Mahoout来实现的,它是非常低效的。阿里巴巴的量非常的大,需要很长的时间。有了Spark后,可以把这个做的非常的高效。另外就是图算法,阿里巴巴有一些图像化的数据,可以用graphx来分析用户的关联关系。

第三个是优酷土豆,他们也是来解决Mapreduce存在的一些问题,比如说性能问题,迭代计算上的性能比较低效等等。他们最后把它应用在极其机器学习图计算等等。Spark最大的优势就是用在机器学习领域,比如说做一个人的关系的挖掘,比如说SQL肯定解决不了,Mapreduce非常低效,这个时候你必须得自己写一些算法来实现。

接下来我们看看Spark2.0,它是最近发布的一个版本,有重大的改进。我们看看到底做了哪些改进。

首先看性能方面,首先是它的SQL计算方面用到了datooFrame中的算子性能优化2到10倍。另外是向量化计算,提供Parquet扫描吞吐率,还有提升了ORC读写性能。另外产品优化器是CATALYST。

在功能方面,在三个关键组建里做了大量优化和功能上的改进。一个是执行优化方面做了工作,这是突出的优化项目,优化的计划,支持sprk SQL2003,机器学习方面做了重大的改进。

首先是SparkSQL,是基于SQL的引擎,当然不仅仅支持SQL还支持DSL,。它不是类型安全的,缺乏函数式编程能力,在1.6和2.0里面增加了新的编程方式,是DATASET它是类型安全的,面向对象编程方式,支持非结构化数据,JAVA与SCALA统一了接口,性能极和了序列化框架。在这里,做了非常重大的改进,比如说编码,之前你如果用Spark写程序的话,用JAVA表示的话,可能是几十个字节,Spark里做了大量的优化,比如说编码之后只占少量,Spark做了非常大的改进。

给大家看一个例子,在现在绝大部分人用比较典型的RGD来写程序,认为非常的简单,都非常容易。的确是非常方便,但是现在看来不够更进阶,比如说很多人看了这个不知道他做什么。但是跟你后面的程序一眼就可以看出来。Spark2.0里面可以把写程序变得这么简单。Dataframes是非常简捷的,相当于SQL。另外是SparkSQL在执行上做了大量的优化。提出了未来五年的计划,主要是在优化CPU和memory做了优化,怎么样提高CPU的计算,怎么样充分的利用CPU的资源,它提出了三方面的优化,一个是关于对象的表示,对心的序列号方面做了优化,它是用JAVA写的,对象内存开销比较大,序列号的开销也比较大,这有一系列的问题。这个方面的优化,想用类C语言的方式来表示JAVA的对象,JAVA允许你用二进制的方式来表达,而且它的内存完全是自己管理,实现了一整套管理的序列化机制。

第二个是cache-aware,可以尽可能的合理使用CPU的cache,宣布实现了数据结构的算法。

第三个是可去除条件检查,尖沙虚函数调度等。

它的目标是逼近物理性能的极限,渣干机器可以利用的资源加速计算。

第三个优化是对SQL的支持,现在已经支持准的SQL2003,可跑通所有的TPC-DS查询。对SQL的支持花了越来越多的力气,在不久的将来可能对SQL的支持会越来越好。对SQL的支持是很多用户的需求,也是期望。所以Spark支持了。

第二个是Spark structured,每个小时我们要启动一个Spark作业,来处理前一个小时的用户日志或者是用户行为,这个时候这个作业要有一个调度引擎,这时候要加一个调度器来实现这个功能。如果你处理完前一个小时的数据,下一个小时处理的时候,有可能跑来前一个小时的日志,比如说发生的过程中可能有延迟的问题,Spark streaming可以很好的解决这个问题,是结构化的数据,这个批处理程序,你只要给一下这个源就可以,整体的实现体是一模一样的,这样的话实现了批处理流式计算,一个代码既可以跑流式计算,也可以跑批处理。它提供了很多的设置,来对接不同的数据源,比如说对接各种各样的程序引擎。

另外,可以跟一个静态数据做一个连接,另外也可以做交互式查询,通过接口来查询流式计算统计的结果。这是Spark streaming跟其它的流式计算做的对比,在一致性上,在API上,对事物的支持上,对交互式的支持上等等,它自己跟前一带的Spark streaming,跟Hadoop,跟STORM等做了对比。

第三个模块,在2.0里做了大量的优化,一个是ML pipeline,它实现了所有的模型都可以替换,可以持久化到磁盘。基于Dataframe的API,它可以自动做大量的优化,使用传统的传统关系数据库里的一些优化机制,自动的优化。

另外,它有一个非常重要的功能,一个是实现了广义线性模型,第二个是支持python和api第三个是模型持久化能第四个是pipieline定制化。它可以很好的把组建结合在一起,训练做完之后有哪种评估模型对训练的做一个评估,然后做一个打分等等,所有的东西都做成了组建,你可以插拔的方式来做。

前面我把Spark2.0做了介绍。这是今天的所有内容。Spark2.0已经发布,但是远不成熟,因为改进的东西太多太多了,按照传统的经验,至少调到2.1,2.2,2.3才可以。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2016-09-08 10:59:05
云资讯 2016可信云大会在京隆重召开
9月1日,由工业和信息化部指导,中国信息通信研究院、中国通信标准化协会主办,数据中心联盟承办的“2016可信云大会”在京隆重开幕。来自工业和信息化部、中国通信标准化协 <详情>
2016-09-06 13:28:12
云资讯 阿里云陈峥:DT时代政务行业阿里云破冰实践
9月1日,由工业和信息化部指导,中国信息通信研究院、中国通信标准化协会主办,数据中心联盟承办的“2016可信云大会”在京隆重召开。在云计算重点行业应用分论坛上,阿里云 <详情>
2016-09-06 13:23:06
大数据资讯 芯联达杨宏桥:医疗大数据建设与思考
9月1日,由工业和信息化部指导,中国信息通信研究院、中国通信标准化协会主办,数据中心联盟承办的“2016可信云大会”在京隆重召开。在云计算重点行业应用分论坛上,芯联达 <详情>
2016-09-06 13:19:28
云资讯 中投视讯CTO费有文:移动直播产品开发那点事
9月1日,由工业和信息化部指导,中国信息通信研究院、中国通信标准化协会主办,数据中心联盟承办的“2016可信云大会”在京隆重召开。在云计算重点行业应用分论坛上,中投视 <详情>
2016-09-06 13:16:00
云资讯 慧与(中国)吴明柱:整合农业产业链,促进农业现代化——HPE农业云应用概述
9月1日,由工业和信息化部指导,中国信息通信研究院、中国通信标准化协会主办,数据中心联盟承办的“2016可信云大会”在京隆重召开。在云计算重点行业应用分论坛上,慧与( <详情>