首先,他们需要知道什么是大数据。如下是我如何定义大数据这一概念:

“新兴技术和实践方案,使收集、处理、发现和储存大量结构化和非结构化数据变得快速而富有成本效益。”

大数据涵盖了众多社会生活的范畴——从金融交易到人类基因组,从汽车的遥测传感器到互联网上社会媒体日志。利用传统的数据库方式来处理和存储这些大数据是相当昂贵的。为了解决这个问题的新技术,利用开放源解决方案和商业硬件高效存储数据,并行工作负载,提供快速处理能力。

随着越来越多的IT部门开始研究大数据的替代品,讨论中心栈,处理速度和平台。而这些IT部门无法很好的把握其现有技术的局限性,许多不能阐明这些替代方案的商业价值,更遑论他们将如何进行分类和优先级的数据排序,进入大数据治理。

事实上,我们所看到的新出现的大数据需求,以及关于其处理平台和流程的讨论只是大数据传输整体的一部分。在现实中,实现的全部潜在大数据的交付过程,需要七个步骤:

收集:从数据源和分布在多个节点处收集数据——通常是一个网格——每个进程的一个子集,并行数据。

流程:然后系统使用相同的高功率并行执行,对每个节点上的数据进行快速计算。节点“压缩”结果数据到更多的消费数据,由此产生的数据集可以被人工(在分析的情况下)或机器(在解释大型结果的情况下)使用。

管理:正在处理大数据往往是异构的,来自不同的交易系统。这些数据通常需要理解、定义、注释,并且以安全起见,还要进行扫描和审核。

测量:公司往往会测量数据的速率,可与其他客户的行为或记录进行整合,并随时间的推移来决定是否对其进行整合或校正。业务要求应告知测量和持续跟踪的类型。

消耗:所产生的使用数据应符合原要求的处理流程。例如,如果利用几百TB的社会化媒体数据互动,有助于我们了解社会媒体数据如何驱动用户额外购买产品,那么我们应该建立社会媒体的数据应当如何被访问和更新的规则。这与机器对机器的数据访问是同样重要的。

存储:由于“数据即服务”趋势的形成,越来越多的数据开始存储在单一位置,以便于进程的访问。数据用于短期的存储批处理或长期保留,应审慎处理存储解决方案。

数据管理:数据治理是驱动业务的决策和监督数据。根据数据治理的定义,数据治理适用于六个前阶段的大数据传输。通过建立流程和指导原则,制裁围绕数据的行为。大数据需要根据其预期消费进行管辖。其他的风险是对于数据分配的不满,更不用说过度投资。

大多数工作人员负责调查和获取大数据解决方案侧重于收集和存储步骤,而牺牲了其他的步骤。他们的问题是:“我们如何收集所有这些数据,我们把这些数据存储在何处?”

但许多IT部门仍然逃避了定义离散的大数据业务需求的进程。而业务人士经常将大数据的趋势看成只是一个IT重新整修的借口,没有明确的终点的游戏。这种相互嘲讽的环境就是为什么大数据没有超越“前期调查阶段”的罪魁祸首。

正如“ITBusinessEdge”一书的作者洛林劳森在其最近的博客中所说,“确保您的分享是合理性的唯一途径是要保证你有一套有效的管理大数据的计划。”

挖掘数据治理进程,尽大的努力确保数据:

 商业价值和理想的结果是明确的

 处理关键数据的相关政策已经被批准

 专业知识应用到大数据问题

 定义关键数据的规则是明确的

 冲突和问题升级有一个过程

 数据管理——执行数据治理政策的战术是相关的

 在关键问题发展阶段有决策权的

 执行数据隐私政策

总之,数据治理意味着大数据的应用程序是有用的和相关的。这一保险政策是一个正确的问题。确保我们不会浪费新的大数据,使得处理、存储和交付速度更具成本效益,比以往的技术更灵活。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2025-02-25 14:34:54
2025-01-14 16:51:00
2024-12-04 11:45:49
云资讯 亚马逊推出新一代基础模型Amazon Nova
亚马逊的新一代基础模型提供前沿智能和行业领先的性价比,Amazon Nova模型扩展了Amazon Bedrock中针对企业客户提供的丰富且强大的基础模型选择。 <详情>
2024-11-19 19:22:36
国内资讯 政策驱动下“AI + 云网安”服务发展:第一线的战略布局与实践
针对企业大模型训练与推理,第一线正探索构建AI原生超互联总线架构。 <详情>
暴力测试!华为电力模块 5.0 直面 AIDC 五大痛点,以极限可靠,让 AI 世界坚定运行
2026-05-07 09:18:17
深度|泰国EEC数据中心产业链的七个重要发现
2026-04-30 09:31:23
重磅 | 尚航科技助力“东数西算”苏南算力集聚区惠山节点正式揭牌!
2026-04-29 17:23:13
25MW!吉宝浮动数据中心在新加坡开建
2026-04-29 11:42:57
官宣:8月,2026中国智算产业绿色科技年会定档上海!
2026-04-29 10:40:23
白皮书重磅发布 | CIDC联合发布《AI智能体赋能行业决策:趋势与实践白皮书(2026)》
2026-04-29 09:37:51
总投资达150亿元,阿里巴巴广东云计算数据中心河源源城区项目扩建公示
2026-04-28 09:45:30
5月27日·泰国曼谷,DIFGC 2026·THAILAND 正式启动|数字基础设施全球合作发展曼谷论坛
2026-04-28 09:19:00
从自动化到自主化运维 ManageEngine卓豪的“进化”与“坚守”
2026-04-24 11:09:08
NTT计划在东京外围打造日本最大超大规模计算集群
2026-04-23 14:27:10
东南亚算力产业竞争白热化 出海胜负手在哪?
2026-04-23 14:25:04
首个大型AIDC园区绿电直连储能项目落地!双登股份携江天数据迈进“算电协同“新时代
2026-04-23 09:48:22
450MW!DayOne签下印尼最大数据中心电力采购协议
2026-04-22 14:36:18
投资4.08亿元、算力规模450P,安徽宿州AI算力平台项目完成验收
2026-04-22 11:34:31
AI引爆光纤涨价潮,最高涨幅达650%
2026-04-22 10:33:13