2016年12月宣布的腾讯高性能分布式计算平台Angel1.0于今日正式开源。

据了解,Angel是腾讯第三代的计算平台,使用Java和Scala语言开发,面向机器学习的高性能分布式计算框架,由腾讯与香港科技大学、北京大学联合研发。它采用参数服务器架构,解决了上一代框架的扩展性问题,支持数据并行及模型并行的计算模式,能支持十亿级别维度的模型训练。

Angel还采用了SSP(Stale synchronous Parallel)、异步分布式SGD、多线程参数共享模式HogWild、网络带宽流量调度算法、计算和网络请求流水化、参数更新索引和训练数据预处理方案等新技术。这些技术使Angel性能大幅提高,达到常见开源系统Spark的数倍到数十倍,能在千万到十亿级的特征维度条件下运行。

腾讯数据平台部总经理蒋杰曾表示,面对快速增长的数据挖掘需求,开发一个面向机器学习、能应对超大规模数据集的、高性能的计算框架,并且对用户足够友好,具有很低的使用门槛,Angel平台应运而生.

2014年腾讯已走上开源的征途,第一代核心平台TDW-Hive。另外,在第三代的计算框架上对比第二代可以支持10亿级维度的算法训练,由以前的数据并行,到可以支持模型并行。同时,第三代的平台,在系统的易用性上还支持GPU深度学习,支持文本、语音、图像等非结构化的数据。

5857a14dd4e05

Angel自去年初在腾讯内部上线以来,已应用于腾讯视频、腾讯社交广告及用户画像挖掘等精准推荐业务。并且腾讯大数据平台荣获2016年的Sort benchmark全球排序竞赛冠军,98.8秒完成了100T数据排序,刷新了四项世界纪录。2015年的这项排序时间还高达329秒。

腾讯开源平台Angel鼓励了业界工程师、学者和技术人员大规模学习使用,激发机器学习领域的更多创新应用与良好生态发展。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2018-04-16 10:06:05
云资讯 大庆市云计算大数据产业工作会议召开
4月13日,大庆市召开云计算大数据产业工作会议,系统总结大庆市大数据云计算产业发展情况,安排部署下步工作任务。市委常委、常务副市长何忠华出席并讲话,副市长于宸、安 <详情>
2018-04-16 09:41:00
云资讯 阿里、腾讯两强领跑云计算,行业竞争回归企业服务本质
鹅厂2017Q4财报出来后,神秘的"其他业务"以 21.2% 的收入占比贡献了 34.3% 的增量,超过排名第二的游戏的26.3%,成为了这波财报分析舆论的热点。 <详情>
2018-04-16 09:38:00
机房建设 为什么腾讯、阿里等互联网科技公司把数据中心设在贵州
阿里、腾讯、苹果等把数据中心设在贵州,根本原因就是成本低,因为水电费便宜,政策有支持,还没有洪水、地震、台风等自然灾害,又不需要太多技术。这个数据中心业内称之为 <详情>
2018-04-16 09:34:00
大数据资讯 全国城市农贸代表团参观眉山农业云大数据中心
12日上午,由全国城市农贸中心联合会主办,眉山市商务局、眉山圣丰农产品批发市场投资有限公司承办的第十四届全国农产品批发市场联络员大会在眉山举行,来自全国城市农贸中 <详情>
2018-04-16 09:31:00
大数据资讯 上海市大数据中心揭牌 用“数据跑路”替代“群众跑腿”
上海市大数据中心12日正式揭牌。作为“智慧政府”的基础设施,上海将依托大数据中心这个城市数据枢纽,打破部门“数据孤岛”,推动政务服务从“群众跑腿”向“数据跑路”转 <详情>