首先,他们需要知道什么是大数据。如下是我如何定义大数据这一概念:

“新兴技术和实践方案,使收集、处理、发现和储存大量结构化和非结构化数据变得快速而富有成本效益。”

大数据涵盖了众多社会生活的范畴——从金融交易到人类基因组,从汽车的遥测传感器到互联网上社会媒体日志。利用传统的数据库方式来处理和存储这些大数据是相当昂贵的。为了解决这个问题的新技术,利用开放源解决方案和商业硬件高效存储数据,并行工作负载,提供快速处理能力。

随着越来越多的IT部门开始研究大数据的替代品,讨论中心栈,处理速度和平台。而这些IT部门无法很好的把握其现有技术的局限性,许多不能阐明这些替代方案的商业价值,更遑论他们将如何进行分类和优先级的数据排序,进入大数据治理。

事实上,我们所看到的新出现的大数据需求,以及关于其处理平台和流程的讨论只是大数据传输整体的一部分。在现实中,实现的全部潜在大数据的交付过程,需要七个步骤:

收集:从数据源和分布在多个节点处收集数据——通常是一个网格——每个进程的一个子集,并行数据。

流程:然后系统使用相同的高功率并行执行,对每个节点上的数据进行快速计算。节点“压缩”结果数据到更多的消费数据,由此产生的数据集可以被人工(在分析的情况下)或机器(在解释大型结果的情况下)使用。

管理:正在处理大数据往往是异构的,来自不同的交易系统。这些数据通常需要理解、定义、注释,并且以安全起见,还要进行扫描和审核。

测量:公司往往会测量数据的速率,可与其他客户的行为或记录进行整合,并随时间的推移来决定是否对其进行整合或校正。业务要求应告知测量和持续跟踪的类型。

消耗:所产生的使用数据应符合原要求的处理流程。例如,如果利用几百TB的社会化媒体数据互动,有助于我们了解社会媒体数据如何驱动用户额外购买产品,那么我们应该建立社会媒体的数据应当如何被访问和更新的规则。这与机器对机器的数据访问是同样重要的。

存储:由于“数据即服务”趋势的形成,越来越多的数据开始存储在单一位置,以便于进程的访问。数据用于短期的存储批处理或长期保留,应审慎处理存储解决方案。

数据管理:数据治理是驱动业务的决策和监督数据。根据数据治理的定义,数据治理适用于六个前阶段的大数据传输。通过建立流程和指导原则,制裁围绕数据的行为。大数据需要根据其预期消费进行管辖。其他的风险是对于数据分配的不满,更不用说过度投资。

大多数工作人员负责调查和获取大数据解决方案侧重于收集和存储步骤,而牺牲了其他的步骤。他们的问题是:“我们如何收集所有这些数据,我们把这些数据存储在何处?”

但许多IT部门仍然逃避了定义离散的大数据业务需求的进程。而业务人士经常将大数据的趋势看成只是一个IT重新整修的借口,没有明确的终点的游戏。这种相互嘲讽的环境就是为什么大数据没有超越“前期调查阶段”的罪魁祸首。

正如“ITBusinessEdge”一书的作者洛林劳森在其最近的博客中所说,“确保您的分享是合理性的唯一途径是要保证你有一套有效的管理大数据的计划。”

挖掘数据治理进程,尽大的努力确保数据:

 商业价值和理想的结果是明确的

 处理关键数据的相关政策已经被批准

 专业知识应用到大数据问题

 定义关键数据的规则是明确的

 冲突和问题升级有一个过程

 数据管理——执行数据治理政策的战术是相关的

 在关键问题发展阶段有决策权的

 执行数据隐私政策

总之,数据治理意味着大数据的应用程序是有用的和相关的。这一保险政策是一个正确的问题。确保我们不会浪费新的大数据,使得处理、存储和交付速度更具成本效益,比以往的技术更灵活。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2023-08-24 09:38:00
大数据资讯 关注县域数据能力建设,抢占产数业务发展先机
2023年《数字中国建设整体布局规划》正式发布,数据能力已成为我国区域发展的底座和创新引擎。 <详情>
2023-08-11 18:23:36
云资讯 阿里巴巴发布2024 Q1业绩,阿里云收入251.23亿元
阿里云收入增长4%至251.23亿元,经调整EBITA利润增长106%至3.87亿元。 <详情>
2023-08-02 08:44:58
云资讯 国家发改委:支持民营企业牵头承担云计算、人工智能、工业互联网等攻关任务
值得一提的是,《通知》指出,支持民营企业参与重大科技攻关,牵头承担工业软件、云计算、人工智能、工业互联网、基因和细胞医疗、新型储能等领域的攻关任务。 <详情>
2023-07-31 09:45:08
云资讯 云计算产业发展趋势及对运营商云业务的发展启示
随着新一轮科技革命与产业变革的蓬勃发展,经济社会数字化转型进程深入推进,作为数字化转型关键信息基础设施的云计算业务迎来广阔增长空间。 <详情>
2023-07-28 08:52:05
云资讯 《云计算白皮书(2023年)》:我国云计算市场处于快速发展期
7月25日,中国信通院发布《云计算白皮书(2023年)》(以下简称《白皮书》),《白皮书》聚焦过去一年多来云计算产业的新发展新变化,总结梳理国内外云计算政策、市场、技 <详情>