12月12日,2022中国移动全球合作伙伴大会智慧中台生态创新高峰论坛成功举办。会上,中国移动携手存储、计算、数据湖、数据仓库、数据服务等多领域合作伙伴,共同发布了《大数据湖仓一体技术白皮书》(以下简称《白皮书》),全面阐述了湖仓一体的发展背景、关键技术、典型应用场景、实践案例以及当前挑战与未来展望等内容,是业界首个以大数据湖仓一体为核心主题的白皮书。

image.png

图:大数据湖仓一体白皮书封面

随着 5G、云计算、大数据、AI等新技术与新应用的蓬勃发展,企业数据快速增长,容量正在从 PB 到 EB 级跨越,数据量呈现大规模、多样性特点,特别是非结构化数据呈爆发式增长。数据量的剧烈增长对企业数据基础设施提出了新的挑战,传统数据湖和数据仓库已经无法满足数据的组织、存储、分析需求。计算能力的提升、存储介质的飞跃式发展以及云计算的成熟,三方面因素的有机结合共同促成了以大数据为核心的数据架构新范式——湖仓一体的兴起。

湖仓一体作为一种新型开放式架构,能够充分结合数据湖和数据仓库的优势,在数据湖低成本的存储架构之上,继承数据仓库的数据处理和管理功能,存储、转换、集成结构化和非结构化数据,将不同种类数据融合在一起,并从中提取出有用价值。

面对新的应用需求,一方面湖仓一体产品可从企业的核心诉求出发,更好地支撑企业的数据存储与分析;另一方面,湖仓一体架构可支持企业优化自身底层数据治理架构,从而帮助企业提升“人效”和“能效”,更精准地抓住商业机会,创造发展优势。湖仓一体技术所具备的高效的数据处理优势以及经济、节能优势,使之在实时数仓、支撑云原生的融合数据底座、降本增效等场景中具有广泛的应用前景。

随着湖仓一体技术应用的逐步深入,未来还将具备近数据计算加速、AI驱动数据全生命周期自动驾驶、多云协同等先进技术能力,以适应更大的数据体量和更多的场景诉求,进一步促进数据价值释放,助力“东数西算”国家战略工程实施。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2023-08-24 09:38:00
大数据资讯 关注县域数据能力建设,抢占产数业务发展先机
2023年《数字中国建设整体布局规划》正式发布,数据能力已成为我国区域发展的底座和创新引擎。 <详情>
2023-03-30 11:15:07
云资讯 分布式时代已至,数据如何更有价值?
无论是连通各大集群内大型超大型数据中心,还是连接边缘侧小型、边缘数据中心,分布式云计算都已成为这张算力网络最重要的支撑。在此背景下,云计算步入分布式时代。 <详情>
2023-03-01 19:27:00
市场情报 FlagOpen大模型技术开源体系,开启大模型时代“新Linux”生态
大数据+大算力+强算法=大模型”是当前人工智能发展的主要技术路径。语言大模型ChatGPT成为现象级应用,人工智能进入普及应用的新时期。 <详情>
2023-01-09 09:36:46
大数据资讯 我国互联网广告数据匿名实施服务正式上线
《指南》形成的“技术保障、评估规制、过程控制”的互信制衡机制,适用于各类互联网广告业务,包括广告投放、程序化交易、广告监测等应用场景下的数据匿名化处理。 <详情>
2022-12-30 10:10:19
大数据资讯 中国移动磐维数据库正式发布
未来,随着数据库功能和稳定性等进一步增强,磐维数据库将在中国移动内外部的广泛应用中积累更多复杂业务场景实践经验,进一步提升数据库产品的核心技术能力,助力数智化转 <详情>