12月12日,2022中国移动全球合作伙伴大会智慧中台生态创新高峰论坛成功举办。会上,中国移动携手存储、计算、数据湖、数据仓库、数据服务等多领域合作伙伴,共同发布了《大数据湖仓一体技术白皮书》(以下简称《白皮书》),全面阐述了湖仓一体的发展背景、关键技术、典型应用场景、实践案例以及当前挑战与未来展望等内容,是业界首个以大数据湖仓一体为核心主题的白皮书。
图:大数据湖仓一体白皮书封面
随着 5G、云计算、大数据、AI等新技术与新应用的蓬勃发展,企业数据快速增长,容量正在从 PB 到 EB 级跨越,数据量呈现大规模、多样性特点,特别是非结构化数据呈爆发式增长。数据量的剧烈增长对企业数据基础设施提出了新的挑战,传统数据湖和数据仓库已经无法满足数据的组织、存储、分析需求。计算能力的提升、存储介质的飞跃式发展以及云计算的成熟,三方面因素的有机结合共同促成了以大数据为核心的数据架构新范式——湖仓一体的兴起。
湖仓一体作为一种新型开放式架构,能够充分结合数据湖和数据仓库的优势,在数据湖低成本的存储架构之上,继承数据仓库的数据处理和管理功能,存储、转换、集成结构化和非结构化数据,将不同种类数据融合在一起,并从中提取出有用价值。
面对新的应用需求,一方面湖仓一体产品可从企业的核心诉求出发,更好地支撑企业的数据存储与分析;另一方面,湖仓一体架构可支持企业优化自身底层数据治理架构,从而帮助企业提升“人效”和“能效”,更精准地抓住商业机会,创造发展优势。湖仓一体技术所具备的高效的数据处理优势以及经济、节能优势,使之在实时数仓、支撑云原生的融合数据底座、降本增效等场景中具有广泛的应用前景。
随着湖仓一体技术应用的逐步深入,未来还将具备近数据计算加速、AI驱动数据全生命周期自动驾驶、多云协同等先进技术能力,以适应更大的数据体量和更多的场景诉求,进一步促进数据价值释放,助力“东数西算”国家战略工程实施。