近十年前,随着技术的不断更新迭代,大数据逐渐走向成熟,而如今,大数据已经渐地淡出人们的谈资。从2015年开始,大数据已经在Gartner新兴技术成熟度曲线中消失,Gartner对此的解释是,大数据不再是“新兴的”,而是正在慢慢融入我们的生活中。

这一说法,也得到了永洪科技高级副总裁邵文龙的认同。他表示,虽然新兴技术成熟度曲线中已经没有了大数据,但是很多其他技术都是基于大数据的,大数据已经成为这些技术的基础。

永洪科技高级副总裁邵文龙

根据福布斯的报道,89%的行业领袖认为大数据将像互联网一样改变传统的商业运作模式。的确,随着新兴技术的不断演进,大数据逐渐成为了企业中最重要的资产。如何从数据中挖掘出有价值的信息,辅助企业甚至是直接进行决策,成为了众多企业的必行之路。

大数据已经走向成熟?

得益于互联网的飞速发展,企业中的数据越来越多,过去,企业的关注点在于大量的多样的数据如何存储,而如今,更多的企业则希望从这些数据中挖掘价值,为企业的业务发展做出决策。

大数据发展了很多年后,是否已经走向了成熟呢?邵文龙告诉笔者,从企业的数据架构方面来看,技术还在不断地演进,还有很多创新的技术在不断推出来,比如Spark、Flink等等;如果从企业应用的角度来判断,大数据是已经走向成熟了,因为更多的企业开始行动,将大数据作为企业的基础设施。

在当前阶段,大数据的热点更多集中在大数据的应用以及分析方面,怎样从数据中挖掘价值,是很多企业的关注点。此外,企业希望服务提供商可以提供大数据一站式的解决方案,从大数据的基础架构、数据仓库,到数据分析平台、商业智能的展现能力,甚至是数据挖掘能力、人工智能的能力全部包含,一揽子的解决方案受到了更多企业的青睐。

数据爆炸式增长带来多方变化

过去数据大多都是由业务系统所产生,静静的存储在企业的数据库中,而如今产生数据的来源也是多种多样的,有来自新媒体、社交数据,也有来自物联网等传感器的数据,并且这些数据的形态也是多样的、杂乱的。而这些不同来源的数据给企业的大数据处理、分析带来了更大的挑战。此外,数据的类型,例如视频、音频、图片等不同格式的数据也增加了企业的存储、清洗、甚至是分析挖掘的难度。

在数据爆炸的时代,带来的变化不仅是数据处理分析难度的变化,更多的是用户以及技术上的变化。邵文龙表示,大数据分析和数据挖掘已经逐渐变成企业领导人的共识,他们需要从数据中挖掘价值从而指导自己企业的运营以及决策,因此企业需要利用好历史数据以及外部数据,从而更好的做出规划以及决策。此外,企业对于大数据处理的需求也更为清晰。过去很多用户只是看到大数据很热就开始做大数据,但是并不知道用大数据来具体做什么事情。而现在这样的小白用户越来越少,大部分企业还都是需求明确的。这说明企业对于大数据是有一定的认可度的,大数据已经成为企业的必备品。

第二个变化是技术方面的变化。从Gartner的新兴技术成熟度曲线中可以看到,虽然大数据在Gartner的新兴技术成熟度曲线2015年的报告中消失,但是很多新兴的技术背后都是由大数据作为支撑,大数据已经变成其他技术的基础。比如,像人工智能,数据就是其重要的因素,如果没有数据,那么算法模型都只是空壳,并不能产生真正的价值。

虽然,现在像视频、图片等非结构化数据已经很多,但是企业中大部分数据还是结构化数据居多。邵文龙表示,结构化数据更加容易挖掘出价值,规律性和特征比较容易总结,因此价值密度相对较高。

永洪科技的PASO应对之法

数据来源多样化、数据量级增加、数据来源复杂等多种原因,扰乱了数据之间的关系,增加了用户对数据治理、分析挖掘的难度,同时,对数据安全、隐私保护也带来了更高的挑战。

为此,永洪科技提出了PASO(Platform,Application,Service,Operation)平台,通过技术手段和非技术手段两方面解决这些挑战问题。技术方面主要通过Platform和Application的方式,能够有效的涵盖用户所面临的挑战,比如数据清洗、数据治理等难题,并且可以通过可视化拖拽这样简单易操作的方式实现,同时可以通过相关的血缘分析,找到数据的原始存在位置以及对数据进行过的操作,从而对数据了如指掌。

在非技术手段方面则是通过Service和Operation两方面着手。永洪科技设有售前、售后、客户成功实施等不同的团队,都有完整的服务体系,提供从前端到后端完整的服务,随时帮助用户解决遇到的问题和挑战。而Operation则是永洪科技已经根据以往的经验,将利用数据的方法、遇到的问题和解决方案制作成最佳实践,将这些最佳实践毫无保留的告诉用户,让用户可以避免很多问题的发生。当然,如果用户出现其他解决不了的问题时,永洪科技的技术人员还是会帮助其进行解决。邵文龙表示,通过技术和非技术相结合的方式,能够解决用户在数据量很大时遇到的挑战,让用户能够真正的使用起来。

而对于数据安全,永洪科技通过数据权限控制以及产品安全双重保障的。在权限控制系统中,数据的权限是分层的,可以定义数据的查看权限,例如根据部门或是根据人员级别查看,这样保证不同层级的用户可以看到授权的数据。第二,永洪科技的产品是可以抵抗第三方攻击的。若用户使用手机或者公共环境登入系统查看数据,可能会被中间人攻击将个人信息劫走,进而查看到公司相关数据,造成损失。邵文龙表示,永洪科技每发布一个版本都要通过第三方的严格的安全检测和扫描,并且在发布前都要进行数周的稳定性测试和漏洞扫描,在压力集中的情况下保持运行数周不出问题,才会正式发布,以便保证产品的高可靠性、稳定性。

为客户多想一步:标准化产品+定制化开发+行业解决方案

商业智能是从九十年代提出的,将企业中现有的数据进行有效的整合,快速准确地提供报表并提出决策依据,帮助企业做出明智的业务经营决策。早期的商业智能有两个特点,一是构建在关系型数据库上,因此分析就是非实时的;二是数据量并不是很大。因此,早期商业智能所做出来的数据挖掘和呈现,往往都需要很长的时间。而当大数据出现以后,商业智能进入到第二阶段,从原有的IT人员逐步转向了业务人员,业务人员可以根据自己的需求自己操作,马上就可以呈现结果内容。

但是在分析需求变更时,业务人员不会直接调整报表,需要IT人员重新建模或修改已有分析模型,耗时较长,响应速度较慢。因此,永洪科技提供了自主研发的大数据高性能计算引擎软件MPP数据集市,采用了列存储、内存计算、分布式计算、分布式通信,高性能多层缓存等技术,当用户将数据从数据库导入到分析平台时,可以及时响应。

邵文龙表示,客户在商业智能方面的需求比较发散,很难有一款商业智能的产品能够完全满足用户,因此,永洪科技采用标准化的产品+定制化的开发+行业解决方案,来满足不同行业不同用户的需求。

标准化的产品提供通用型的技术能力,比如Z-Suite一站式大数据分析平台,覆盖了数据分析过程的各个环节,包括数据采集、清洗、整合、存储、计算、建模、训练、展现、协作等,让用户可以在一个统一的平台上完成全流程数据分析任务,降低了实施、集成、培训的成本。对于某些特殊的功能,则是可以通过定制化或插件的形式提供,目前永洪科技也开放了产品接口,感兴趣的人员可以自己开发后放到应用市场中,如果用户没有找到合适的插件,永洪科技的技术人员也是可以开发的。

Z-Suite 技术架构

对于行业用户,永洪科技也是有不同行业的解决方案,通过永洪科技的行业专家数十年的行业理解,总结出不同行业的业务需求和挑战,从而制定通用型的行业解决方案。目前,永洪科技已经针对制造、零售、金融、电商、交通、电力、医疗、电信、互联网、高教、政府等不同行业做出了解决方案,覆盖了主流行业的数据分析和挖掘的需求。

虽然很多企业都意识到大数据可以为企业带来价值,但是往往想的还不够透彻。邵文龙举例说,以零售行业为例,如果客户数据仓库已经准备好,永洪科技会与客户的业务人员以及IT人员沟通,了解清楚客户做大数据分析的目的,客户一般是想要做数据销售情况的展示效果,但是永洪科技还可以帮助用户做销量预测、库存优化等等,帮助客户多想一步,将数据分析挖掘做的更加透彻。

AI+BI:让数据价值可衡量

人工智能技术的出现,让机器可以模仿人类的思考方式变得更加智能。人工智能和商业智能该如何结合呢?邵文龙表示,很多用户不太关心后端的技术是使用的哪些以及如何实现的,只是关心提出的需求是否能满足。但是,永洪科技会根据用户的需求来选择合适的AI模型以及最优的BI展示形式。

在数据清洗后会分成训练集和测试集,根据训练集进行训练模型,调整模型参数,验证模型,然后将模型部署到测试环境中进行测试,测试没问题后部署到生产环境中,最终的结果将在商业智能上进行展现,让用户在无感知的的情况下体验到AI与BI的结合。

邵文龙认为,现在用户对于AI的需求会越来越多,未来会逐渐变成一种典型的场景。因为用户在效果上是能够感知的、观察的、可衡量的。通过AI技术的结合,将复杂的模型高度抽象,帮助用户发现通过肉眼观察分析看不到的内容,并且可以预测判断未来的内容,让价值变得可衡量。

不过,人工智能的模型训练是需要大量投入的,找到最合适的算法模型才能分析预测出更精准的结果。从训练模型、调整参数、验证模型、部署模型等一系列的流程,都是需要大量的人力、计算力,以及时间等成本。永洪科技也正在研发AI相关的标准化产品,将复制性比较强的项目进行总结,从而做出标准化的模型和功能,减少多方面的投入成本。

未来的三步发展

从商业智能到大数据分析,再到现在人工智能技术的结合,未来大数据的发展会集中在哪些方向呢?邵文龙表示主要在智能分析能力、提升产品性能、产品对数据挖掘洞察力的支持三个方面,而这三方面也将是永洪科技的研发方向。

首先,智能分析的能力也就是Gartner今年预测的十大战略技术之一的增强分析技术。为了获得更好的数据洞察能力,增强分析将把大数据重塑为智能数据。作为一种先进的数据处理工具,增强分析能够从大数据中获得洞察力的真正本质。因此,当用户打开报告后可以直接看到数据异常点以及产生的原因,而不再需要手工的钻取与分析。此外,用户的交互方面也是智能的,业务人员可以通过自然语言的方式来进行查询,直接获取数据洞察力。

第二是提升产品的性能。由于数据量越来越大,企业后台的计算能力也是成指数级增加,因此无论是基础架构还是软件系统,都需要更强的性能来做支撑,以保障数据的分析挖掘的能力。永洪科技的MPP数据集市是业内领先的大数据计算引擎。在永洪MPP的基础上,正在通过技术革新来进一步提升产品的性能,保证用户在使用时的使用体验。

第三是产品对用户需求的支持要有保障。由于人工智能技术的加速发展,企业对数据挖掘的洞察力要求也会越来越多,数据训练的模型,验证模型,评估模型,部署实施等一系列流程都要清晰。服务提供商的产品要能够支持不同的数据模型,并且可以与现有的数据分析进行无缝结合,统一展现出数据分析以及预测的结果。

结语

永洪科技于2012年成立,致力于为企业提供高效可靠又简单易用的数据分析解决方案。七年多的发展中,虽然有很多技术推陈出新,但是永洪科技始终保持初心,扎根于数据分析领域,帮助企业将数据转换成有价值的信息。除了提供标准化产品,个性化服务以外,永洪科技利用技术能力降低数据分析的门槛,将数据分析变得更加简单易用,让用户真正的使用起来。而永洪科技的坚持以及理念也得到了资本市场的认可,从2013年到2016年四年时间里,永洪科技先后完成了四轮融资,获得了包括腾讯创投、元生资本、经纬创投等投资机构的青睐。随着智能时代的来临,在技术不断演进的过程中,相信永洪科技会帮助企业挖掘出更大的数据价值,将数据的价值大化。

【凡本网注明来源非中国IDC圈的作品,均转载自其它媒体,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。】

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2022-12-20 10:20:13
大数据资讯 健全数据基础制度 激发公共数据价值
建立健全各地区各领域的公共数据资源体系,依法依规促进公共数据高效共享和有序开发利用,是促进全体人民共享数据发展红利的关键所在,需要主动适配和积极推动我国数据基础 <详情>
2022-06-23 16:58:58
新闻动态 政策利好加持,IDC如何抢滩数据交易产业?
数据有价值,有价值就有市场,哪怕是黑市。这也正是近年来各种倒卖公民个人信息、个人信息泄露等负面新闻不绝于耳的缘故,数据黑市交易屡禁不止。 <详情>
2021-11-05 10:30:57
国内资讯 深度挖掘数据价值,推动工业互联网走深向实
政策牵引下,技术与工业深度融合,工业互联网将呈现出怎样的发展趋势,行业又将怎样加速工业互联网产业的蓬勃发展。 <详情>
2021-09-01 11:03:03
大数据资讯 “数据湖”夯实数据新基建,大化释放数据价值
数据湖可以有效解决当前数据面临的‘存不起、得不到、不会用’现实问题。 <详情>
2021-09-01 11:01:33
大数据技术 数据湖,将真正释放医疗健康数据价值
一个典型的医疗机构通常会有至少5种以上的数据来源,更多的情况是超过15种数据来源。 <详情>