在人工智能时代,企业既想通过大数据分析、挖掘技术提升效率,又被大数据量分析、机器学习挖掘等相关技术门槛阻扰,需要一款数据分析挖掘产品跨越这个鸿沟。Jarvis在这个背景下应运而生。Jarvis是支撑大数据分析挖掘应用开发的工具和平台,定位在企业开发者和大数据分析挖掘技术之间,提供可视化交互方面的支持,使得大数据分析、挖掘技术能快速转化为满足企业应用场景的具体产品。

据了解,Jarvis技术实施栈纵向分层、横向分级确保可全流程解决数据分析挖掘过程中的数据处理、计算资源、算子算法支持、环境部署等各环节问题,同时针对用户进行功能分级、并大限度保持可扩展,为真正成为一款造福数据科学家、业务开发者、数据分析师、产品经理、决策分析者等各类开发用户的产品而努力。

技术

可视化管理数据科学全流程

一个经典的数据挖掘分析应用过程包括,数据获取、数据预期处理、特征提取、建模开发、预测部署、投入应用。Jarvis充分调研分析开发实施人员在各环节面临的处理场景、可能的高效、方便的工作方式,进行了抽象设计实现:

数据连接,支持结构化、非结构化多类型数据接入,支持私有数据接入、支持云Bos、分布式HDFS、关系型数据库等等多类型数据源读取及灵活挂载。

数据准备,提供支持文本、图像类型的交互式的数据清洗、预处理工具,方便进行数据高效准备。

数据分析,支持PB级别的SQL交互式查询分析、Spark处理;同时提供丰富的可视化数据探查工具,方便开发者获取高价值有效样本。

挖掘建模,内置了丰富的基础算子算法供开发者高效进行建模开发;同时预置了经典的垂类行业解决方案,可以低成本在匹配场景进行高效实施。

模型部署,生成模型可直接发布、部署,并支持动态热加载。提供了常用模型评价指标的效果监控功能供一键选择监控、支持自由扩展。

流程监控,开发者进行的全工作流实现自动Track,新数据可自动触发重跑全流程。

技术1

云原生服务

在数据分析挖掘全流程及服务过程中,不同的场景、不同的数据、不同的处理阶段、不同的开发者对于环境的需求、对于资源的需求多种多样,这就需要数据分析挖掘平台的资源(包含开发环境资源)管理要能灵活接入、弹性拉伸、扩展方便,确保稳定及资源利用高效。Jarvis采用了云原生服务架构的方式实现。

技术2

自动机器学习AutoML

策略模型研发人员大量的时间花费在选取不同的特征数据、进行不同的算法选择尝试、参数调优中,最终获得一个高效的模型。AutoML理论上可通过设置自动尝试多数据特征、多算法、测试完全不同的模型架构,然后与目标相匹配,给出最终解决问题的方案。

技术3

行业解决方案

同行业的不同企业往往存在共性的数据分析挖掘场景,例如:电力行业,用电量预测;工业物理网类,设备故障检测、故障预测等。这些同类场景要解决的问题类似、要分析的数据类似,因此可以抽象通用的行业解决方案在同类场景下复用、快速投入应用。对于深层次的数据挖掘开发者,同样有大量通用的算法、算子库可以相互复用,提升开发效率。Jarvis从基础算法、通用模型、垂类解决方案分层内置能力并不断扩展集成,为不同场景需求的开发者用户提供了高效复用能力。

技术4

百度开发者大会期间,Jarvis通过点石-大数据众智平台(dianshi.baidu.com, DataLab板块)邀测了第一批用户进行增强版基础开发环境的使用(内置了丰富的算子算法库及百度AI开放接口),受到用户的一致好评。

技术5

 

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2022-08-03 10:15:15
大数据技术 大数据分析技术和方法有哪些?
随着时代发展,大数据技术也日益完善。因而了解今日的大数据分析技术和方法有哪些,越来越有其必要性。 <详情>
2022-05-05 15:12:11
云资讯 百度新一轮干部轮岗:押注云计算第二曲线,推动干部年轻化
5月5日上午,第一财经记者获悉,百度创始人、董事长兼CEO李彦宏发出全员邮件表示,为了适应不断变化的市场情况,强化组织能力建设,公司决定进行新一轮的干部轮岗。 <详情>
2022-04-08 09:53:00
大数据技术 数据分析的十二个误区
自动化系统的执行方式不应该是有偏见的。但技术是由人类建立的,所以消除所有偏见几乎是不可能的。有些人认为分析和机器学习消除了人类的偏见。 <详情>
2021-12-28 15:10:26
大数据资讯 2022年数据分析的6大趋势
企业数据分析有两种方法。首先是从CRM和ERP等业务应用程序中获取数据,并将其导入数据仓库以提供给BI工具。现在,这些数据仓库正在迁移到云端,采用Snowflake等技术。 <详情>
2021-09-06 10:00:40
大数据资讯 预测分析和大数据分析的完整指南
企业是否希望加强和扩展自己的业务?还是开发产品?如果制定了一个从哪里开始的计划那很好。 <详情>