我们对Facebook、Amazon、Airbnb、Pinterest和Netflix数据团队所做的事情感到惊讶。他们为软件和企业从数据中获取信息而制定了新标准。由于他们的产品用户量极大,所以这些团队必须不断地定义规模分析的方法。他们已经在数据架构中投入了数百万美元,并且在大多数公司中,数据团队的规模超过了整个工程部门的规模。

我们建立了Keen IO,是为了以让大多数软件工程团队无需从头架设所有内容,就可以利用最新的大型事件数据技术。但是,如果您对如何成为巨头公司感到好奇,那么请从最好的公司中收集一些架构。

 Netflix

Netflix拥有9300万用户,没有交互缺陷。正如他们的工程团队在Netflix数据管道的演变中描述的那样,他们每天大约捕获5000亿个事件,每天大约有1.3PB的数据传输。在高峰时段,他们每秒将记录800万次事件。他们雇用了100多个数据工程师或分析师。

以下是上述文章中数据架构的简化视图,其中显示:开源系统ApacheKafka,搜索服务器ElasticSearch,亚马逊云存储服务AWSS3,进行大数据处理的ApacheSpark,运行框架ApacheHadoop和大数据分析服务EMR作为主要组件。

1

 Facebook

拥有超过10亿的活跃用户,Facebook有世界上最大的数据仓库之一,存储超过300PB。该数据被用于广泛的应用:从传统的批处理到图形分析,机器学习和实时交互式分析。为了进行大规模的交互式查询,Facebook的工程师发明了Presto,一种针对点对点分析进行优化的定制分布式的SQL查询引擎。每天有1000多名Facebook员工使用Presto,通过Hive、HBase和Scribe的可插拔后端数据存储,每天执行查询次数超过30000次。

2

体系结构

3

  后端数据存储

Airbnb

Airbnb支持超过1亿用户浏览200多万的房屋列表。他们智能地向这些用户提供新的旅行建议的能力,这对他们的成长有很大影响。Airbnb的数据科学经理Elena Grewal在去年的会议“建立一个世界级的分析团队”上提到,他们已经将Airbnb的数据团队扩展到拥有30多名工程师的规模。这是每人每年500万的投资。

AirbnbEng建筑师James Mayfield、Krishna Puttaswamy、Swaroop Jagadish和Kevin Longdescribe描述了构建数据结构的基本要素以及如何为关键任务数据提供更高的可靠性。他们严重依赖Hive和Apache Spark,并使用了Facebook的Presto。

4

 AIRBNB的数据基础结构

Pinterest

Pinterest每月有超过1亿的用户浏览超过100亿的网页浏览量。截至2015年,他们将数据团队扩展到拥有250多名工程师的规模。他们的基础设施依赖于开源系统ApacheKafka,数据处理框架Storm,系统基础架构Hadoop,开源数据库HBase和GPU渲染器Redshift。

5

  数据管道结构图

Pinterest团队不仅需要追踪大量客户相关的数据。像其他社交平台一样,他们还需要向广告商提供详细的分析。黄彤波在《Behindthe Pins:Building Analytics at Pinterest》一文中写道:为了满足这一需求,他们改进了自己的分析堆栈。以下是Pinterest团队如何使用Apache Kafka,AWSS3和HBase的示意图:

6

  Pinterest商业数据分析结构图

  Twitter/Crashlytics

每天实时处理50亿次会议。EdSolovey介绍了Crashlytics Answers团队构建的一些架构,用于处理数十亿的日常移动设备事件。

7

  信息流接收

8

   存储

8

  批处理计算

10

加速计算

   总览

正如我之前提到的,我们构建了Keen数据接口(API),以便任何开发人员都可以使用世界一流的数据架构,而无需拥有一个庞大的团队构建一大堆基础架构。成千上万的工程团队使用Keen的API来捕获、分析、流式传输和嵌入事件数据,包括实时和批处理应用程序。虽然使用Keen的开发人员在发送事件或运行查询时不需要知道幕后发生的情况,但下面是处理其请求的体系结构:

11

Keen IO信息处理结构图

在输入方面,负载均衡器处理数十亿个传入的帖子请求。事件流来自于应用程序,网站,连接设备,服务器,计费系统等等。事件需要验证、排序和可选择地丰富额外的元数据,如IP-地理查询。这一切都发生在几秒钟内。一旦安全地存储在Apache Cassandra中,事件数据就可以通过RESTAPI进行查询。我们的架构(通过Apache Storm,Dynamo DB,Redis和AWS lambda等技术)支持从原始传入数据实时数据探索,到应用程序和面向客户报告的缓存查询的各种查询需求。Keen每天查询数万个事件属性,并为成千上万的客户构建报告,自动化和数据挖掘界面。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2018-04-09 11:13:31
互联网 特朗普批亚马逊 美企业裁员人数飙高
美国总统特朗普 4 月 2 日推文抨击亚马逊时表示,诚实纳税的美国零售商正在关闭遍布全国各地的商店。他说,这不是一个公平的竞争环境。2018 年 4 月 2~6 日这一周亚马逊股 <详情>
2018-04-03 16:11:23
市场情报 谁家的宣传口号最赞?——至顶网2018年十大公有云宣传口号评选正式启动
近几年,中国云计算市场蓬勃发展,市场涌现了不少云服务商和云服务,市场竞争分外激烈。作为市场推广和企业文化的一部分,云服务商们推出了各种各样的宣传口号、Slogan,它 <详情>
2018-03-29 10:01:00
云资讯 不只是亚马逊,微软也将达到1万亿美元的市值?
如同亚马逊一样,微软也在连续性地创下历史最高记录,目前公司的各条业务线普遍增长良好。不过,这其中表现最为出色的依然是它的云计算业务,可以说云计算正推动着整个微软 <详情>
2018-03-28 10:19:00
大数据资讯 亚马逊、谷歌和微软谁会是AI领域中的赢家?
这些年里,云与AI的结合愈发紧密,AI即服务(AIaaS)也从最初的概念变成了现实。就目前而言,包括Amazon,Google和微软在内的巨头都希望能够主导云AI领域中的业务,因为获 <详情>
2018-03-28 09:57:09
云资讯 亚马逊最赚钱部门AWS云计算的秘密
反观国内,国内几家云服务提供商显然对标的也是美国巨头亚马逊、谷歌和微软,目前他们在各自优势领域也形成一定的壁垒。发力最早的阿里云计算产品相对成熟,市场占有率最高 <详情>