juiA7b2

大数据的最底层的内容就是存储,只有把数据存在能高效访问的分布式系统下才能提升工作效率。小编带大家来盘点一下这些常见的分布式文件系统:

reaYJbU

Lustre

Lustre是一个非常安全,规模很大的分布式文件系统,最早由CFS(Cluster File System Inc.)公司研发,最后由CFS、惠普和因特尔三家公司一起与2003年推出第一版发布版,发展到现在已经非常成熟。其存储量通常以PB起步,节点支持数也能打到万级。但是其对设备有特殊要求。

HDFS

HDFS是Hadoop内置的分布式文件系统,之前也有过介绍。HDFS最大的优势就是价格低廉,因此也使用极为广泛。并且其高可靠性,高容错性也让使用者非常信赖。虽然HDFS的存储级别也在PB以上,但是对于小文件过多的情况HDFS不能很好的支持。

QFS

QFS和HDFS类似,都是为了解决高效顺序读写大量数据的问题。但是QFS在性能上优于HDFS,读写效率提升综合越60%。现在QFS还比较小众,没有经过大量的使用测试,因此还不能用于大规模的生产环境。

eURVVzJ

GlusterFS

GlusterFS也是一个PB级别的集群文件系统,其思想是将集群内所有服务器的存储空间汇到一个大的网络系统上。这样做最大的特点就是无中心,不会有单点故障。

Alluxio

AfMNVrF

Alluxio是第一个基于内存的分布式文件系统,因此其相应速度也会超出普通的分布式文件系统很多,例如HDFS就比它慢数百倍。并且Alluxio和Spark也有良好的交互。最重要的是Alluxio中国人开发的,文档都是中文的,对于被英文文档困扰很久的小伙伴绝对是福音。

常见分布式文件系统大盘点,想了解大数据先从存储开始

Ceph

Ceph也是一个没有单点故障的分布式文件系统,Ceph的每个节点上都有一小部分资源用于计算节点的数据信息,从而非常优秀的实现负载均衡。

PVFS

PVFS是一个并行虚拟文件系统,他能很好的支持linux上的原声命令和工具,例如rm、dd、cat等。但是PSFS是单管理节点的,因此存在单点故障,并且在启动后无法灵活的修改。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2018-08-06 09:01:27
云计算 VIPKID启动V+战略:深度融合云计算、大数据以及AI技术,推出全球首个第三代在线教育技术引擎
VIPKID创始人及CEO米雯娟表示全球首个第三代在线教育技术引擎,通过创新的在网络、计算、混合云存储以及安全方面打造具备服务全球在线教育服务的云计算基础设施层。 <详情>
2018-08-06 09:00:49
大数据 马上消费金融:紧密结合大数据 强化金融风控体系
眼下正是消费金融行业浪淘沙式洗牌的关键时刻,作为真正合规、规范运营的平台,马上金融进一步引领消费金融行业推进合规运营,为促进消费金融行业合规发展贡献力量。继续加 <详情>
2018-08-06 09:00:44
大数据 人工智能不断创新:从机器翻译到跨语言大数据
2018年7月31日,中译语通科技股份有限公司(以下简称中译语通)隆重举办“Hi,Five”2018中译语通战略发布会,不仅为大数据应用提出了产品和技术的解决方案,还为跨行业的深 <详情>
2018-08-06 09:00:29
大数据 温氏股份与网易云战略合作 以大数据技术升级现代农业
近日,广东温氏食品集团股份有限公司与网易旗下云计算和大数据品牌网易云达成战略合作,双方依托温氏股份在养殖、动物营养、食品加工等领域的优势以及网易在云计算、大数据 <详情>
2018-08-06 09:00:24
大数据 大数据系统破解了90%停车难题
车位共享是大势所趋,但针对车位共享带来的物业管理安全问题,还要做好顶层设计、完善法规,实现依法精细化管理,才能有力推进车位共享 <详情>