当今世界,网络信息技术日新月异,大数据等新一代信息技术的出现,推动智慧产业、智能产业、各类大脑等应运而生,推动社会从信息科技时代进入智能科技时代。

政策与需求共推大数据应用向前发展,云平台升级迫在眉睫

近年来,我国大数据产业发展取得了显著的成效:

一是发展环境持续优化。国家层面《促进大数据发展行动纲要》等文件,加快落地实施国家大数据综合实验区公共信息资源开放,有关大数据的相关政策和文件。多层次协同推进大数据发展的管理,应该说已经基本形成。

二是产业生产加速,技术创新不断取得新突破。涌现出一批有带动力和影响力的龙头企业,以及众多创新特色输出的中小企业,上下游企业密切互动的产业格局初步形成。

三是大数据应用已经从互联网营销、广告等领域逐步向电信、交通、金融、医疗、教育、政务等广泛渗透,有战略性的大数据典型应用的案例不断涌现。大数据与各行各业的深度融合是新动能在加快的推进,是全社会应用大数据的氛围越加浓厚。

大数据产业的迅速发展,使得各行各业的企事业单位的业务产生大量数据。传统的云平台通常采用IaaS-PaaS-SaaS(亦即基础设施即服务-平台即服务-应用即服务)三层解耦方式部署,不同层、不同应用、不同租户的数据的整个生命周期都是孤立的,这种方式在一定程度上存在与业务关联性不足、数据管理混乱、无法做到数据共享及隔离等问题,随着平台的扩展,数据会呈现指数级上升,而运维、运营难度亦陡然增加,企业云与大数据融合和治理迫在眉睫。

浪潮云海OS升级大数据管理能力,为IT转型上好“四保险”

浪潮将云平台与大数据深度融合,增加大数据服务层(DaaS),实现平台内部自下而上所有数据的整合和治理,IaaS、PaaS、DaaS、SaaS统一权限管理,并以统一目录方式对租户提供服务。

11

浪潮云数融合方案部署架构图

生产环境注重业务连续、平台稳定及数据安全性,考虑到大数据处理效率、HDFS多副本导致的冗余消耗及大数据应用的快速开发部署等诸多因素,浪潮采用大数据平台物理机部署、大数据应用云上部署、“云上”应用调用“云下”大数据平台能力,并通过统一云管平台实现虚拟集群及大数据集群的统一管理(智能监控,运维自动化、计量计费)、用户统一认证并提供统一的对外服务目录,实现了高效大数据处理、合理数据冗余、快速的应用部署、以及基于RBAC权限访问和以VDC维度的资源管理,最大限度发挥云计算与大数据融合的优势。

在IaaS层,使用浪潮云海平台InCloud OpenStack及大数据平台InCloud Insight实现物理设备(服务器、存储、网络等)云化,并形成虚拟化资源池、裸金属资源池及大数据资源池,向上层提供计算虚拟化、存储虚拟化(块存储服务、对象存储服务、文件存储服务)、网络虚拟化及大数据服务。

在PaaS层,通过基础环境适配器(Cloud Provider Interface),浪潮弹性分布式操作系统(IOP)能够直接调用IaaS能力,并向上提供基础资源服务、计算服务、数据/大数据服务、应用中间件服务、开发支撑服务及多媒体处理服务等六大类功能。其中基础资源服务包含弹性云主机服务、对象存储服务、负载均衡服务、网络服务及VDC服务。计算服务则利用大数据能力提供离线计算服务(用于批量计算、指标汇总计算、数据挖掘等场景)、实时计算服务(用于TB级以上数据实时读写和数据实时分析等场景)、流式计算服务(用于实时布控、实时监控预警、实时统计等实时性要求非常高的场景)、内存计算服务(用于批处理,SQL查询,流式处理以及机器学习等),全方位支撑上层的数据治理和应用。

22

浪潮云数融合方案IaaS&PaaS架构图

在DaaS层,由数据集成、数据治理、数据处理、数据服务组成,覆盖数据从产生、传输、存储、初加工、细加工到应用及销毁的全生命周期。以数据资源为核心的理念,充分利用云平台基础设施与云平台提供的各类计算服务,对业务各种来源的各种类别数据进行整合汇集、存储组织、分析处理以及标准化管理,并以服务、接口等形式提供给上层各类应用。在数据集成阶段,能够接受不同数据源(如内网数据库、行业文件库、应用系统日志等)和不同数据类型(结构化数据、非结构化数据、半结构化数据等),并提供集成工具及数据格式转换工具实现数据标准化,上层应用可无差别地调用各类数据。数据集成之后会进入数据治理环节,实现数据类别规划(定义不同安全要求等级数据不同的访问权限及方式)、数据质量管理(划分数据质量等级及存储方式)、数据仓库(可根据业务维度划分)及数据服务总线(提供数据访问控制)。而数据处理层则负责提供面向业务的各类功能引擎(档案引擎、索引引擎、对比引擎、分析引擎及计算引擎等)及相应的调度服务,上层应用可通过提交任务形式调用以上引擎服务,轻松实现数据的并发异步调用。数据是企业的重要资产,为最大化提高数据的价值,平台对外提供数据资产运营中心,实现数据资产超市、数据资产管理、数据共享交换机数据价值评估。上述所有数据加工环节,均以RPC或API接口方式对应用开放服务,以专业的数据服务使得应用层能更加聚焦业务的孵化和加速。

33

浪潮云数融合方案DaaS架构图

在SaaS层,分为两方面应用:基础应用(邮件、办公应用、日志系统等)和业务自定义应用。通过调用IaaS、PaaS、DaaS层服务接口,应用开发商可快速完成高可用、高并发的业务应用的开发和部署。

通过这四层,浪潮云数融合方案能够提供全方位的IaaS-PaaS-Daas-SaaS云化能力,亦提供了计算能力强大,覆盖离线计算、在线计算、内存计算、流计算等典型大数据应用场景的大数据平台,同时特有的云数融合方案,实现数据不同层、不同应用、不同租户从数据采集-数据集成-数据治理-数据处理全数据生命周期的管理,让客户在云数时代乘风破浪,永立潮头。

相关阅读:

大数据就业七大行业优势

开启大数据时代信息保护新“对话窗”

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2018-11-09 16:01:17
大数据应用 零售业应用大数据分析的六大挑战
零售业是最传统的买卖双方互动平台。早在电子商务和移动商务崛起前,零售商们就以别出心裁的产品陈列,极具竞争力的价格和有效的销售技巧吸引了众多买家。随着科技的发展, <详情>
2018-11-09 14:31:27
大数据资讯 中国企业云服务大数据指数服务平台落地密云
11月9日,2018物联网产业项目招商签约大会在北京市密云区物联网大厦隆重举行,来自国内外近200家物联网企业代表参加此次大会。 <详情>
2018-11-09 11:36:54
大数据技术 大数据就业七大行业优势
近年来企业在招聘时也普遍希望减少对员工的培训开支,因此对求职者的招聘标准也有所提高。而一般的求职者尤其是应届生,缺乏工作经验,很难获得名企青睐。所以求职者们掌握 <详情>
2018-11-09 11:12:03
大数据技术 开启大数据时代信息保护新“对话窗”
随着云计算、大数据、物联网、人工智能等新技术的发展普及,各类安全风险也随之而来,网络攻击、网络恐怖等安全事件时有发生,侵犯个人隐私、窃取个人信息等违法犯罪行为屡见 <详情>
2018-11-09 10:43:49
大数据应用 大数据是区块链的“借力点”?
近十年来,互联网技术、大数据、区块链交替出现在人们的视线里,信息集中爆发,技术更迭加速。通常情况下,我们还来不及弄明白一个新技术的逻辑,另一个更新的技术就出现了 <详情>