12月3日,SUSE中国区技术总监林培峰在2019中国数据与存储峰会(DATA & STORAGE SUMMIT)上对当前分布式存储的应用场景做了深入剖析,并以此为题,就虚拟化和OpenStack私有云、容器云存储、文件服务器、视频监控、数据备份云存储、大数据分析、数据高可靠、对象存储- 海量小文件存储这些常见场景,以鲜活的案例阐述了当前分布式存储的发展现状、解决方案以及SUSE的能力。
林培峰:我们对分布式存储的定义是能够兼顾传统存储和软件定义架构,传统存储大家都清楚,它的应用包括备份、虚拟化、归档,我这边没有列出数据库,这种交易型的应用,为什么?因为目前分布式存储是无法、也是不太适合去应用在这个场景的。软件定义存储所有的存储交易,所有存的信息都用软件去做。软件的延迟其实是比较高的,有报道称分布式存储软件方面最低延迟到0.5-1毫秒,我们的场景没有列出数据库。软件定义这个方面架构包括容器、虚拟化、大数据、备份。其实和传统都不太一样,包括运维到数据的调用有很多通过API,通过S3接口,包括运维、脚本、API,所以接下来给大家分享一下我们SUSE分布式存储的一些真正落地的场景。
分布式存储落地场景
第一个很常见的场景,一个分布式存储承载整个企业虚拟化和虚拟云的存储架构,包括VMware、KVM等虚拟化都是用传统存储,现在更多的是用分布式存储去成长。这里边用到的协议块存储是最多的,比如ISCSI,包括Ceph自带的RBD的协议是最多的。在这上面我们SUSE还做了跟各个厂家的虚拟化的兼容,包括 VMware、华为Fusionphere的兼容,这个兼容在我们部署里面去接特别是接华为的虚拟化,其实是用普通的ISCSI接过去是有问题的,我们还做了很多兼容性的测试和开放。这个是很常见的场景。这个就是我们在某省移动做的混合云平台企业级的存储解决方案。我们一个存储就给他们承接了华为的虚拟化还有VMware虚拟化的存储需求,基本上这里面通过ISCSI。
另外一个场景就是我们给某个银行所做的容器云的存储,这也是分布式存储一个很常见的场景,一个企业上容器选择存储的时候,很大一部分选择分布式存储,其中基于基于Ceph分布式存储,对这个K8S支持是很完美的,不管用块存储RBD,还是用文件存储都是很完美支持K8S,我们这个客户上面跑的数据分析、人工智能、机器学习的应用都很好的承载起来,这个就是容器云的存储。
另外一个很常见——文件存储,文件存储很重要的几个协议,在里面对于我们SUSE的分布式存储都有很好的支持,这里面我们还扩展了 CephFS ,还有我们正要做的基于Windows,对RBD的支持。如果大家对Ceph有所了解都知道RBD是块存储,只能用Linux,其实如果是Windows去用的话只能通过CephFS或ISCSI,RBD其实不太好用,我们下一步做这个事情,下一个版本发布出来。我们有很多客户包括某个做汽车安全座椅的,还有某个半导体企业的,反正他们业务跑Linux里边,原来用的是NFS去跑他的备份业务,备份数据跑在这里面,现在改成CephFS,我们部署了不到三个月,存储利用率提高了,这是实实在在文件服务器,而且旧应用用的最多,我们都能很好地支持他们的业务。
另一个是我们给某银行做的录音系统,他们录音系统NAS原来用APP,现在改成了是用Ceph的分布式文件系统。我们SUSE Ceph的文件系统提供了,因为传统就用NFS无法牵过来,我们很好提供NFS,现在已经跑了有一年了。实实在在用了一年,用分布式存储Ceph很好地替换原有的NAS存储,特别传统的存储。
一个很大量的视频监控对存储容量的要求很高。对带宽的要求也很高,对IOPS要求不高,这一块对视频监控的场景分布式存储是很适合的。因为分布式存储DIY,买来X86服务器插上硬盘把软件安上就得到一个存储,只要性能满足上面的应用需求就可以了。视频监控这种应用对容量的要求很高,对带宽的要求是一般高,对IOPS要求不高,所以很适合这方面的应用。今年投资了可能100TB的容量的存储我明年根据业务的需求再去采购X86,根据每年不同需求而横向扩展,很好保护企业成本,而且这里边还可以采用纠删码技术,更好地提高存储效率。如果用副本的话,现在默认用三副本,只能30%多,所以视频监控领域,纠删码技术利用越来越多的。
还有一个很重要的场景就是数据备份的云存储。在这方面我们做了很多工作,因为备份这个场合特别适合用分布式存储,而且备份其实我们需要跟很多的备份软件去做兼容性认证。这个是我们SUSE所做的工作。我们觉得大家可能国内很多厂家他们只是说这是什么备份,他们无法去拿出这种兼容性认证,我们和国际国内的很多备份厂家去做兼容性认证,很好支持他们不同的接口,包括NFS,ISCSI,包括S3这个接口,而且现在备份存储,备份存储大部分的备份文件,越来越多用S3接口。通过S3接口、备份文件去重功能压缩功能,更好地利用存储空间。
另外一个场景是越来越多的客户所考虑的,就是大数据分析,数据放在分布式存储里面,大数据这个软件包括Hadoop、Spark怎么样很好地调用出来,我们和专门做大数据厂家的合作伙伴做了一个测试。如果用S3的接口上Spark去调用的接口和HDFS性能相比是相当的。但是用S3接口更好的利用分布式存储的优势,弹性扩展、弹性计算,而且S3接口更好的保存亿级海量的文件。所以在这一块,我们认为分布式存储下一个很好的场景就是大数据分析。
在数据可靠性里面我们还做了一个实实在在的案例,这个里面列了宝马,在三栋楼宇,每栋楼宇保存一份数据,三栋楼宇是利用了分布式存储的跨园区的技术。这个是实实在在解决他们对于容灾方面的安全的需求,所以在这里边我们把他当成一个场景列出来,考虑多故障率安全数据中心,去保存数据需求的时候,可以想到分布式存储有这个功能的,是适合这个场景的。
我们也有实实在在的案例来讲怎样存储海量的小文件,如果以前用这种NAS去存海量小文件,有客户说,一个目录有百万级文件的时候,查询很慢,我们通过S3的接口通过对象存储保存海量小文件,解决亿级海量小文件访问慢的问题。越来越多用户存海量小文件的时候选择对象存储。遇到有海量小文件去保存的时候,用对象存储是一个很好的解决方案。
这个就是我们给某省远程医疗云做省级的医疗存储,存储医疗产生的视频、语音还有电子的病例、电子音像数据保存起来。
SUSE扛起开源大旗
说完分布式存储一些应用场景,SUSE是大的独立的开源软件厂家,在分布式存储这面投了很多研发和工作,现在发布到第八个版本,全部都基于 Ceph,Ceph测序里面前二十名大贡献者其中有8名来自SUSE。
怎么样做到安全可控?我们认为把所有的源代码能够完完全全开放出来,不怕别人抄袭,不怕别人查看,就是安全可控,SUSE所有软件都是开源,任何人都可以从官方网站去下载、编译。整个Ceph现在的管理的界面全都是SUSE贡献出来。与2017财年相比,SUSE在2018财年的Ceph客户数增加了一倍以上
SUSE的分布式存储核心开发重点在四个方面:易管理性、可用性,与各种操作系统的互操作性,以及性能。我们会很开放的去和合作伙伴合作。SUSE所有技术都是目前业内主流的开源技术,会定期给大家去讲技术课堂。
(以上内容基于演讲实录整理,如有纰漏,敬请指正。)
【凡本网注明来源非中国IDC圈的作品,均转载自其它媒体,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。】