掌握和处理大量数据对于IT部门来说是一个挑战。以下是人工智能(AI)和机器学习如何帮助人们分类、组织和汇总大量信息的方法。

根据三星公司的调查,2016年全球互联网流量超过了1ZB,即10亿兆字节。这个数字是巨大的,但这个数据量与全球各企业正在存储的全部数据相比还相差甚远。

更重要的是,在大多数公司中,数据处在“管理之下”的这个用词有些不当。

人工智能数据管理

数据管理挑战的关键领域是:

•理解暗数据

•数据保留

•实现最佳分析结果的数据集成

•数据访问

IT部门在这些领域进行艰苦努力的原因如下:

•所有类型的输入数据流(其中大部分是非结构化的)太大,无法每天进行管理,因此最终将数据放在任何地方。

•电子发现和行业法规对历史数据的法律和审计流程的要求使得业务决策者不愿放弃数据,最终用户并不喜欢在年度审查会议上讨论数据保留政策。

•数据集成是IT部门面临的最困难的任务之一,像数据聚合这样的概念在分析中发挥更大的作用才会加强,因此看似不同的数据集合可以组合成可搜索的存储库,用于新型的业务查询。

•快速访问数据是一种业务需求,但是高端存储在现场或云端的价格昂贵,因此一些数据必须归档到速度更慢,成本更低的存储空间中。为了解决这些问题,组织管理层将项目的人力物力主要放在了其他重要的目标上。

现在的问题是:机器学习、人工智能(AI)和分析学是否能在数据管理方面提供帮助,特别是对于大量非结构化数据?

以下是机器学习,人工智能和分析可以在以下几个方面提供帮助:

(1)暗数据排序

每个企业系统和每个业务部门都有一些积累的数据,但是人们对此一无所知。通过使用机器学习并结合其功能与算法,可以解决如何排序和处理存储在服务器上的不同类型的电子邮件,文档,图像等文件,机器学习,人工智能(AI)和分析可以对这个未发布的数据进行处理,而经验丰富,知识渊博的工作人员可以查看和回顾自动化推荐的数据分类方案,调整并执行方案。该过程的一部分还可以解决数据保留问题,其分析将产生一组可能从文件中清除数据的建议。

(2)决定丢弃哪些数据

机器学习,分析和人工智能(AI)可以客观地识别那些很少使用或从未使用过的数据,并建议工作人员将其丢弃,但它并不具备与工作人员相同的识别能力。例如,这些进程可以选择未访问五年以上的数据或记录,表明数据可能已过时。这样可以节省员工的时间来查找这个潜在的过时数据,因为现在他们需要做的只是确定是否有任何理由保留它。

(3)汇总数据

当分析开发人员确定需要聚合查询的数据类型时,他们常常为应用程序生成一个存储库,然后从不同的源中提取各种类型的数据,以形成一个分析数据池。要做到这一点,他们必须开发集成方法来访问不同的数据源。机器学习可以通过自动开发数据源和应用程序的数据存储库之间的“映射”,使这种人工过程更加高效。这减少了集成和聚合时间。

(4)组织数据存储以获得最佳访问

在过去的五年中,由于低成本固态存储的发展,数据存储供应商已经在自动化存储管理方面取得了重大进展。这些技术进步使IT部门能够使用“智能”存储引擎,使用机器学习来查看最常使用哪些类型的数据,哪些数据很少使用或从不使用。根据插入到机器算法中的业务规则,自动化能够以快速存储或慢速存储来自动存储数据。自动化可以让存储管理员不必人工解决存储优化问题。

数据管理是一个主要的IT挑战,在大多数组织中并没有很好的解决方案,这是因为随着数据的不断流入,数据管理将会变得更糟。

首席信息官,数据架构师,以及存储管理者需要向企业高管强调这个问题,但数据管理项目并不容易通过花费费用来解决。

然而,IT经理通过指出数据管理的分析时间,以及可以降低人力和存储成本的价值,至少在与企业管理者讨论如何提高战略敏捷性并降低运营成本的同时,这将成为一个至关重要的切入点。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2018-01-04 10:41:40
国内资讯 分析师视角:2018年的数据中心3大预测
向数字业务平台的迁移促使基础设施和运营(I&O)领导者必须重新去思考他们的数据中心策略。像人工智能这样的数字业务平台,包括机器学习(ML)、深度神经网络(DNN)和物联网,对 <详情>
2018-01-04 10:12:34
大数据资讯 我们进入全民人工智能时代,谁会是下一个谷歌?
人工智能似乎与其他大趋势不同,比如区块链、物联网、金融科技等。当然,它的未来是不可预测的。 <详情>
2018-01-03 14:37:00
市场情报 2018,人工智能可以在哪些领域最快得到应用和普及?
根据腾讯互娱发布的《2017 Q3 AI 行业全景热度观察》,2017年第三季度,全球AI公司融资总额高达 77.42 亿美元,仅比前两个季度之和低10亿美元,而与2012年同期相比则增长了 <详情>
2018-01-03 14:17:45
大数据资讯 人工智能热度不减 智伴儿童机器人行业将是下一个蓝海
人工智能的潜力与重要性得到了各行各业的关注,成为其转型及创新发展的新蓝海,这其中尤以儿童行业的布局最为突出。从2017年下半年开始,智伴招商会陆续在全国各省市地区如火 <详情>
2018-01-03 11:29:17
市场情报 2017年终策划:五大锐词带你回顾IT运维这一年
综览2017,作为IT运维领域从业十多年的北塔软件,精心挑选出IT运维领域的五大年度锐词。这些经过重新诠释的语词,浓缩了过去一年中的IT运维技术创新与业界动态,从而帮助你 <详情>