随着企业业务的增长,伴随企业各类应用系统逐步启用,结果导致数据量几何级数的增长,传统的整合数据的方式正在受到挑战,于此同时,云计算及网上应用在企业内部产生各类结构化、非结构化数据,这些数据所蕴含的信息(尤其是非结构化数据)是传统分析工具无法捕捉的。本文主要阐述在企业信息化过程中,数据整合的能力建设所需要考虑的一些关键问题。

从根本来说,企业信息化的目的是为了降低沟通成本、提高工作效率、增强科学决策能力,从手段上是将分散、无序、无时效的数据变成有序、可分享、有时效、可追溯的数据,前者数据过渡到后者数据,就是无信息(或不可信信息)变成可信信息的过程。数据蕴含的信息有两类:1、交易信息,即某一条/或几条数据本身所包含的信息;2、统计信息,即数据集合所蕴含的规律性信息。下图表现了交易数据与统计数据的关系和传统架构方法,即ETL模型。

传统整合基本上是基于ETL模式,即从企业内部的信息系统中抽取(Extract),然后根据预先定义的方式转换(Transform),最后载入到企业的数据仓库(Load),大部分企业的ETL程序定义在每天晚上运行,这类的方法有以下问题:

1、数据仓库的数据不是实时的信息

2、如果内部信息系统数据量很大,ETL处理时间不可能按时完成。

3、数据仓库的信息无法快速反馈数据到基层处理商务的人员,图示1中红色打叉的部分。

4、ERP本身在多年数据积累后,事务处理与订单查询都会变慢。

5、无法处理大数据,ETL的整个数据处理过程都是建立在已知/预定义的模型之上的,也就是ETL无法发掘到数据集蕴含的未知规律。

a)结构化大数据,除上述第2点外,针对大数据的深度挖据分析能力(非简单根据预先设计的模型做数据转换),传统的系统架构中是无法完成的。

b)非结构化、半结构化大数据。非架构化数据从本质上来讲,是企业无法预先定义规则的数据类型,据IDC的一项调查报告中指出:企业中80%的数据都是非结构化数据,这些数据每年都按指数增长60%.传统的方式是无法计算统计非结构化大数据包含的新类型统计信息。

根据上述问题,企业信息系统的数据整合的目标需要满足以下条件:

1、提高数据的质量

低质量的数据带来的问题:

1.1统计数据会有误导,误导的数据直接结果很可能是企业战略决策错误。

1.2基层人员工作效率低下。由于基层人员不信任数据,就会产生额外的工作去核对并验证。由于数据不准确也会产生更多的操作性错误,如:发货地址错误,货款核对产生歧义等。这些都会带来大量的额外工作,根据2/8原理,80%的额外工作都缘于20%的错误。

1.3无法根据信息系统记录做更多的分析统计,如6 Sigma类似的项目将无数据基础,项目无法推进。

2、数据安全:由于各类中间件的应用、云计算集成环境的广泛普及,数据源需要提供更广泛的数据输出的能力,与此同时,数据保护能力需要更加完善,传统在应用软件层面的保护方式是无法满足此类需求的。保护数据需要考虑:传输加密和身份认证。

3、与“云计算”的集成能力:在云计算环境里,无论是基础数据还是交易数据,将不仅限于某一种应用系统中使用,甚至数据很可能需要跨越公司的防火墙,与外部的云计算环境集成。

4、大数据能力:举个典型的例子,企业使用web日志、社交媒体(social media,如微博)数据分析大量客户的偏好,同时使用企业与客户已经成交的交易记录,建立更好的预测模型,更直接有效的市场推广或更好的客户体验。而上述的web日志和社交媒体的数据都是非结构化的大数据。

5、高性能/满足实时的要求:举个典型的贸易公司为例,该公司需要根据客户以往的信用记录决定是否订货或发货,如果没有实时统计能力,此类的商业模型在执行起来会困难重重。越来越多的企业希望将部分的决策过程下放到执行层面的基层,基层的决策需要实时的统计结果、可追溯的决策结果。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2023-08-24 09:38:00
大数据资讯 关注县域数据能力建设,抢占产数业务发展先机
2023年《数字中国建设整体布局规划》正式发布,数据能力已成为我国区域发展的底座和创新引擎。 <详情>
2023-08-11 18:23:36
云资讯 阿里巴巴发布2024 Q1业绩,阿里云收入251.23亿元
阿里云收入增长4%至251.23亿元,经调整EBITA利润增长106%至3.87亿元。 <详情>
2023-08-02 08:44:58
云资讯 国家发改委:支持民营企业牵头承担云计算、人工智能、工业互联网等攻关任务
值得一提的是,《通知》指出,支持民营企业参与重大科技攻关,牵头承担工业软件、云计算、人工智能、工业互联网、基因和细胞医疗、新型储能等领域的攻关任务。 <详情>
2023-07-31 09:45:08
云资讯 云计算产业发展趋势及对运营商云业务的发展启示
随着新一轮科技革命与产业变革的蓬勃发展,经济社会数字化转型进程深入推进,作为数字化转型关键信息基础设施的云计算业务迎来广阔增长空间。 <详情>
2023-07-28 08:52:05
云资讯 《云计算白皮书(2023年)》:我国云计算市场处于快速发展期
7月25日,中国信通院发布《云计算白皮书(2023年)》(以下简称《白皮书》),《白皮书》聚焦过去一年多来云计算产业的新发展新变化,总结梳理国内外云计算政策、市场、技 <详情>