中国IDC圈6月12日报道,“ 数据湖 ”相当于一个中心位置来存储你所有的数据,它无需考虑数据来源和格式。它通常是用‘Hadoop’来建立。数据可以是结构化的或者非结构化的。你可以使用大量的存储,分析和处理工具快速提取数据的价值来做出重要的组织决策。

因为所有的数据都是受欢迎的,对于传统的企业数据仓库来说,‘数据湖’算得上是一个功能强大的替代品或补充品。另外,随着更多的企业向基于云服务的应用开发和物联网转型,‘数据湖’也是一个主要的选择。

在早期的使用案例中,企业频繁的将数据装载到“数据湖”而不尝试去管理它。随着‘数据湖’越来越成熟而且对企业来说更具战略意义,仅仅将数据装载到“数据湖”已经不再足够了而是需要做更好的打算。

“数据湖”具有灵活性,可扩展性,低成本性三个特征。并且它还具有传统的数据仓库(EDW)的大部分特征,当你要增加 数据管理 和支配能力,如:数据质量,元数据管理,安全,转换和拆分与组合数据的能力。如果正确的管理“数据湖”,它可以改进你现在的数据管理措施并且能启用新的数据管理措施。建立“数据湖”的时候,你的公司可以选择下列4种方式中的一种:

选择1:延后支配

第一种选择在加载数据到数据湖的时候就忽略数据的支配和管理。然而,当你需要筛选出数据中有用的部分的时候,你将不得不用工具来清理这些数据,例如机器学习技术。然而这种方法是真正存在风险的,即使是最智能的推理引擎也需要从‘数据湖’大量的数据中的某个地方开始,不可避免的就是在‘数据湖’中部分数据将被忽略,变得滞后,孤立,并且其中的数据几乎不具有结构化,即使是最智能的自动化工具或者人工分析,都不知道从什么地方开始。

选择2:适应已经存在的遗留工具

你可以利用最初为数据仓库设计的应用和过程。当你准备导入数据到数据仓库时你可以用软件工具来执行ETL过程。你可以用这些工具来导出数据到数据湖,然而那样做代价很高,而且只能解决部分你所需要的管理和支配功能。另外一个缺点就是ELT是不包含在在Hadoop集群内的,那样会减慢操作速度和增加消耗,因为每次查询都必须将数据从集群中移除。

选择3:编写定制脚本

在第三种选择中,你用定制脚本创建了一个工作流来连接进程,应用,质量检查和数据转换从而来满足管理的需要。这是一个很常见的选择但是最不可靠和最耗资源的。你需要在Hadoop和它的生态系统方面有很强的分析能力从而来利用开源工具,而且他们需要编写脚本来把各部分连接起来。随着你必须不断修改复杂的代码和工作流来更新‘数据湖’,这个过程是很费时间和资源的。

选择4:配置一个完整的“数据湖”管理平台

第四个选择是配置一个用来汲取和管理大量不同的数据的“数据湖”管理平台。 Zaloni’s Bedrock 提供了这项功能。他允许你为数据编排目录,利用元数据并且支持正在进行中的以确保数据质量,数据沿袭和自动化工作流的进程。这种方法是解决“数据湖”管理和支配的最佳办法。

当你向“数据湖”转变的时候,选择一个完全整合的数据湖管理平台将会使你对数据充满信心,并且会合并更多的用户和用户案例使之有益于商业。归根结底,这就是数据存在的意义,用来告知和提高组织的决策过程,用崭新的并且激动人心的方式来帮助您的业务增长。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2018-01-31 11:58:35
大数据资讯 Commvault专题文章:有效管理企业核心资产,获取胜利
数字化转型浪潮推动下,数据已成为当今企业最为重要的战略资产。IDC报告指出,到2020年,与那些不注重数据分析的同行相比,分析型企业将实现4300亿美元的额外生产力。 <详情>
2018-01-29 16:50:51
公众号 混合云过时了,数据管理才是抓手
鱼和熊掌兼得,什么好处都要占着,这也代表一种理想和追求。 <详情>
2017-10-23 11:44:21
大数据资讯 动不起来的大数据都是发酵中的垃圾
大数据的概念炒作一向厉害,很多公司有着海量的数据流,有着大把的客户和资金,技术也足以进行处理大数据,但是大数据之所以能够成功炒作上位,是因为其能动性,一切动不起 <详情>
2017-10-13 11:15:46
大数据资讯 如何应对当今的数据管理挑战?
如今,监管变革正在推动银行和经纪人组织数据管理流程和支持基础设施的根本转变。但是现在危机后监管框架的要求使混合战略的证据不可忽视。 <详情>
2017-09-05 15:58:00
市场情报 曙光与NetApp软件定义结硕果,赋能数据管理创新
近日,中国领先的信息系统提供商中科曙光与全球混合云数据管理权威NetApp共同发布曙光HyperStor软件定义存储产品家族。这一产品基于双方早前宣布的战略合作关系而推出,由N <详情>