大数据时代面临着生态系统的不断更新迭代。程序猿和攻城狮们绞尽脑汁地想要降低硬件成本、开发出能保罗万象的系统。

摄图网_500705048

先是系统分身——虚拟机的出现,宿主系统和虚拟镜像灵活切换,十分酷炫!随着GO语言这位强王者的出现,又有“神猿”编写出了docker这个貌似鲸鱼的可爱工具。服务器的资源共享进入了容器时代。如今很多头部的IT公司基于docker不断拓展新业务。随着微服务架构的横空出世,docker迅速与之组成战队,就更加飘飘然了。

这几年,容器将取代“虚拟化”的言论甚嚣尘上。事实上,没有绝对的技术,大数据的生态系统是鲜活的,不断更新且多向兼容。虚拟化和容器必将经历短期共存的过程,最终的生死存亡只能交给“生态圈”自主筛选。

就目前而言,容器比虚拟机更敏捷迅速,且容器支持混合和多云的采用。最重要的一点是容器具有很强的适应性:它可以轻松地集成于现有的IT实践当中。同时,容器化应用程序因其灵活共享的特性,大大提高了VM的CPU利用率,降低了硬件成本。但另一方面,每一个虚拟机都有自己的操作系统,驱动程序和应用程序,具有更强的隔离性。

VMs

二十年前,一家名为VMware的创业公司通过提供创建非物理机器虚拟化平台(如Linux,Windows等)来引入业务。

随着服务器处理能力的提高,基本应用程序无法大限度地利用所有丰富的新资源。而虚拟机(VM)的出现,可以在物理服务器上运行软件,并模拟特定的硬件系统。其中管理程序是可以创建和运行虚拟机的软件或硬件。

使用不同操作系统的虚拟机可以在同一服务器上运行。例如,一个Unix虚拟机可以同时在能够运行Linux虚拟机的服务器上运行。每个虚拟机都有自己的应用程序、二进制文件和库。因此,企业可以保留旧计算机,添加新软件,无需重新购买能够运行Unix软件的新计算机。对于组织不断变化的需求而言,这是一个更简单、更便宜的解决方案。

服务器虚拟化是在虚拟化软件的帮助下,将物理服务器划分为若干个小型虚拟服务器的技术。在这个系统中,每个虚拟服务器将同时运行多个操作。Wikibon的首席分析师James Kobielus在最近的一次Dataversity采访中说:

服务器虚拟化的巨大优势在于可以更好地利用所投资的硬件资源。其面临的问题是:在不同平台的不同虚拟机中,管理不同的机器映像相当复杂,这可能会造成相应的管理负担。

容器(Containers)

即使有可用的工具,虚拟机技术也很难被使用。例如,在虚拟世界中很难分离特定的、消耗资源的应用程序。微服务和容器化提供了一个更简单的选择。一个特定的应用程序代码(例如查询处理器和数据库索引逻辑中的后端数据)可以通过微服务的容器来分割不同的工作负载。

容器类似于虚拟机,来自其他系统的软件也可以在不同的服务器上运行。容器还允许应用程序与库和依赖项一起运行。也就是说,当虚拟机模拟硬件系统时,容器能够以核心操作系统为基础来运输自己的软件系统。

相较于虚拟机而言,容器占用空间更少。“虚拟机可能需要大量的资源开销,例如网络输入、输出、内存和磁盘。因为单个虚拟机运行自己的操作系统,而容器则不运行。”Kobielus说道。容器共享称为操作系统(OS)内核的东西,它访问操作系统核心。另外,支持容器的操作系统可以更小,并且具有比虚拟机的操作系统更少的特征。容器启动速度更快,仅使用启动整个操作系统所用内存的一小部分。显然,容器是下一个进化的步骤。Kobielus评论说:

容器化在过去五年里开始流行。这是一种做微服务、分发与平台无关的虚拟化服务器环境的方法,并且此方法有效。容器不仅可以在服务器中运行,还可以在客户机设备等上运行。容器化实际上是通常所谓的云计算的核心。

容器化技术长期以来一直是Linux的一部分。Kobielus表示,目前Docker是最受欢迎的容器之一,其他容器化技术,都被插入到Linux中了。基本上,Linux是操作系统,Linux容器可以通过Docker、Mesos和其他各种方式实现。“可以在Docker容器中运行应用程序逻辑,然后独立地扩展它们。”

Docker支持在大多数Linux平台上都可用,可以轻松运行这些容器及其应用程序。它们基本上可以在任何Linux平台以及其他非Linux平台上运行。通过使用容器,可以在操作系统和底层硬件平台之间灵活地移动微服务。

Kubernetes

Kubernetes是一个开源的容器编排系统,旨在自动扩展、部署和管理容器化应用程序。容器编排系统最初由Google开发,但现在由Cloud Native计算基金会保存和维护。NetApp现在使用Kubernetes发行版,该发行版嵌入在其环境中,并在整个分布式云架构中协调存储资源和存储容器化。

StackPointCloud开发了一个基于Kubernetes的控制平面,用于管理联合可信存储集群,并在公共云服务提供商之间同步持久性存储容器。之后,大型数据存储供应商NetApp采用该技术并将其转变为NetApp Kubernetes服务,该服务允许客户在仅仅三次点击的情况下启动Kubernetes集群或存储集群。

“它可以扩展到被数百个用户使用,客户能够部署可以从单个用户界面扩展的容器,”Kobielus评论道。这就是存储的容器化。容器化的大部分过程都集中发生在应用程序和中间设备功能上。

据Kobielus说:“Kubernetes或Docker以及Linux容器的一个传统弱点就是它们不适合存储或不具有持久性。但是,在利用kubernetes和容器、docker等工具在云环境中实现数据持久性方面,wikibon提供了大量关于存储空间的创新。”

目前已有多个将存储容器化的例子(存储有时被描述为大数据分析的核心)。NetApps称其新的Kubernetes服务可以在AWS,Google Compute平台和Microsoft Azure中运行StackPoint引擎。(它还支持DigitalOcean,Packetclouds等)此外,Cloud Native Computing Foundation还有Rook,它用于非结构化数据的存储容器化和底板的编排。

Hadoop存储

大数据分析平台正在形成一种趋势。这与被用于存储的Hadoop有关。它被用于数据存储、数据存档和数据转换。同时也被用于数据治理。Hadoop是一个开源核心平台,许多企业将其与大数据一起使用,以达到各种目的。因此,Hadoop分布式文件存储已经变得非常流行。Hadoop目前被用于内部云、公共云和混合云中。Hadoop生态系统现在正处于容器化过程中。Red Hat是Kubernetes云中的主要实施者之一。Kobielus说道:

创新者基本上将Hadoop生态系统的所有组成部分纳入他们的计划,然后对其进行容器化,以便后期独立部署、扩展和管理。然后使用Kubernetes将它们以各种组合形式进行编排。

如今,很多企业都在应用这些数据分析的开源平台技术。“他们正在以各种各样的方式将它们结合起来,很多独立开源项目的原始开发人员并没有完全预料到这一点。”Kobielus评论道。所有这些平台都得到了容器化,这种趋势将会持续,在短期内不会很快改变。

相关阅读:

首届云原生产业大会开幕,告诉你真正的云原生机遇与实践

美国国防部把IBM和甲骨文踢出100亿美元云计算合同  

青云QingCloud加入CNCF:贡献开源生态,持续推进云原生应用

凡本网注明来源非中国IDC圈的作品,均转载自其它媒体,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2023-03-30 11:15:07
云资讯 分布式时代已至,数据如何更有价值?
无论是连通各大集群内大型超大型数据中心,还是连接边缘侧小型、边缘数据中心,分布式云计算都已成为这张算力网络最重要的支撑。在此背景下,云计算步入分布式时代。 <详情>
2023-03-01 19:27:00
市场情报 FlagOpen大模型技术开源体系,开启大模型时代“新Linux”生态
大数据+大算力+强算法=大模型”是当前人工智能发展的主要技术路径。语言大模型ChatGPT成为现象级应用,人工智能进入普及应用的新时期。 <详情>
2023-01-09 09:36:46
大数据资讯 我国互联网广告数据匿名实施服务正式上线
《指南》形成的“技术保障、评估规制、过程控制”的互信制衡机制,适用于各类互联网广告业务,包括广告投放、程序化交易、广告监测等应用场景下的数据匿名化处理。 <详情>
2022-12-30 10:10:19
大数据资讯 中国移动磐维数据库正式发布
未来,随着数据库功能和稳定性等进一步增强,磐维数据库将在中国移动内外部的广泛应用中积累更多复杂业务场景实践经验,进一步提升数据库产品的核心技术能力,助力数智化转 <详情>
2022-12-26 09:43:37
大数据资讯 贵阳大数据交易所年度交易额突破3.59亿元
据悉,下一步,阳大数据交易所将持续完善数据流通交易产业链,强化政策扶持和数据供给,构建数据流通交易市场体系,促进数据交易规范化、 市场化,推动数据要素实现有序流 <详情>