社交、移动和云、分析以及相关的数据技术已经在数字时代赢得一席之地。2016年我们看到大数据技术不断给商业智能注入活力。2017年则是数据和分析的沉淀阶段。
John Schroeder, MapR科技(MapR Technologies)的执行主席和创始人预测了他对2017年数据及分析方面的六大趋势
· 人工智能(AI)将再度盛行 早在60年代,Ray Solomonoff 奠定了人工智能的数学理论基础,引入通用贝叶斯原理(Bayesian)来归纳推理和预测。1980年,美国人工智能协会(American Association for Artificial Intelligence,AAAI)的第一次全国会议在斯坦福大学召开,其标志着在软件中理论应用的开始。Schroeder认为AI如今和一些热词如机器智能、机器学习、神经网络和认知计算等一样,已经回归到主流探讨。为何AI重返潮流,他指出定义大数据常用的“三V”特性:速度(Velocity),多样性(Variety)和海量(Volume)。他认为各平台可以将大数据的“三V”特性以现代和传统的混合式处理模型来处理,这将比传统平台提高10-20倍的成本效率。谷歌记录了简单算法对大型数据集进行高速运行比对小数据集应用有更好的结果。Schroeder认为我们将会目睹,对于高体量重复性任务来说,和人工知觉相比,应用AI可获取更有效的一致性,从而避免人为错误,产生高价值。
· 大数据治理或竞争优势
Schroeder认为2017年数据治理和数据价值之争将点燃。企业拥有大量客户以及合作伙伴信息。领先的企业将把他们的数据分类成“规范使用案例”和“非规范使用案例”两个类别来应用。规范使用案例数据需要治理;数据质量和线性关系使其可以产生报表,并且跟踪数据进行各种转化及追溯来源。Schroeder认为这非常必要甚至可强制执行,但可能对非规范使用案例作用有限,例如客户360或者当需要通过进行高行选择数处理、满足实时需求和处理结构化及非结构化的混合数据来产生有效结果时,会受到限制。
· 公司将关注业务驱动型应用,避免数据湖陷入困境
Schroeder表示在2017年,企业机构将从“构建未来”的数据湖应用转向业务驱动型数据应用。当今世界需要分析和操作能力去触及客户、处理索赔并且连接到个体的不同设备。举例而言,任何商业网站需要提供实时的个性化推荐和价格查询。医疗健康型企业必须处理有效的索赔并且运用分析运营系统来防止索赔欺诈。媒体公司需要通过机顶盒提供个性化的内容。汽车制造商和汽车共享公司则要交互运营其车辆和司机。这些案例的实施交付均需要由一个敏捷平台来实现,同时提供分析和运营的处理,跨越后台分析和前台运营进行整合,提升了商业价值。Schroeder认为2017年企业机构将大举推动“提问题”型处理和架构及更多实际应用来驱动长期商业价值。
· 数据敏捷性决定胜负
Schroeder认为自DevOps提供可连续性交付实施以来,软件发展逐渐导向敏捷性。2017年,处理和分析模型将进化到一个类似的敏捷度层面,因为企业认识到竞争优势的来源并非简单依靠大数据湖本身,而是数据敏捷性,以及其在不同场景对数据的理解能力和如何采取商业行动。敏捷处理模型的出现将使同样的数据可以支持批量分析、互动分析、全球信息、数据库和基于文件的模型。越来越多的敏捷分析模型也可以让单一数据支持更广泛的工具。最终结果就是产生可以支持大范畴的处理和分析模型的敏捷发展和应用平台。
· 区块链变革金融服务应用
Schroeder认为2017年数据存储和交易处理的方式将令金融服务的选择和转换融合更广泛地应用。区块链提供了一个全球分布式总账,这将改变数据存储和交易的处理方式。区块链运行于全球分布的计算机上,并可以被任何人查看。每个数据区块按照时间顺序相连,在不同区块储存的交易以时间戳界定储存数据而不可纂改。黑客也认为区块链理论上无法攻克。区块链为消费者提供了显而易见的效率。举例来讲,消费者不用等待SWIFT交易或者担心中央数据中心泄露而产生影响。对企业来说,区块链代表节约成本以及极具竞争优势。
· 机器学习大化微服务影响
今年我们将看到机器学习和微服务的整合所带来的活动增量。微服务部署将专注于轻量服务,其结合受限于“快数据”集成的机器学习,将应用于窄频流媒体数据。2017年我们将看到很多状态应用发展转向以大数据结合机器学习的方式来处理大量历史数据,从而更佳理解新增流数据的场景。
Hadoop服务解决方案厂商Hortonworks预测
· 智能网络引领数据云攀升
万物互联或全联网(Internet of Anything ,IoAT)的持续发展和机器端到机器端的连接性,数据孤岛将被数据云所替代。
· 实时机器学习和分析蓄势待发
智能设备将整合和分析一切。现代分布式数据应用中的实时机器学习算法将开始发挥所长-算法宣告了“端到端”实时决策的实现
· 更前瞻性的分析:从延时处理到实时分析到提前分析并采取行动
我们将看到一个从延时处理到实时分析到前瞻分析的演进过程,其驱动着各类交易而不是仅仅修订或者优化它们。这将带来变革性的影响,以数据为中心的商业能力将会迎来新的营收流、节约成本和改善与客户的亲密度。
· 无处不在的现代数据连接
对于那些以数据致胜的企业来说,应用和数据需要连接到同一个平台或者架构,这是2017年现代数据应用的基石。现代数据应用非常便携、集成性高以及互联。他们将迅速取代那些垂直整合的独立软件。
· 数据将成为每个人的产出
数据将成为可以购买、销售或者损失的价值产品。届时将有很多新途径、新商业模式和新公司将观望如何价值化这些资产。
开发和支持开源Apache Cassandra非线性数据库商业版的公司DataStax预测:
· 数据工程师的适时出现
“数据科学家”这个术语将不再流行,而被“数据工程师”取代。数据科学家专注于数据科学的应用以及对关键业务问题的分析结果。数据工程师则是设计、构建以及管理大数据基础架构,他们侧重在架构和保证系统执行。
· 安全:物联网发展导致模糊地带
现今物联网发展很大程度上有些失控。因为缺乏标准和数据的爆炸,谁来对安全负责并不是很明晰。大的风险来自于互联网服务提供商(ISP),这也是为什么过去一年中主要是他们在安全领域进行探讨。
· 企业级云应用导致混合云致胜 很多已有平台上建立了数据库的大型企业宁愿放弃也不愿交换其数据库。混合数据架构可以涵括已有数据库,同时允许企业同时利用云应用,这将成为这些企业的主要关注点。
·去服务器架构解除紧关连
DataStax认为依靠第三方云应用或者云服务来管理服务器端的逻辑和状态,或者说来运行在事件驱动的无状态计算容器,这种去服务器架构将变得更为广泛。对去服务器架构的采纳将对应用如何部署以及管理产生更为广泛的影响。