最近我问了很多Java开发人员关于最近12个月内他们使用的是什么大数据工具。

这是一个系列,主题为:

语言

web框架

应用服务器

SQL数据访问工具

SQL数据库

大数据

构建工具

云提供商

今天我们就要说说大数据。根据维基百科,大数据是数据集的一个广义的术语,并且该数据集是如此庞大和复杂,以致于传统的数据处理应用程序无法胜任。

在许多情况下,使用SQL数据库用于存储/检索数据就足够了。但在另一些情况下,要么SQL数据库规模不够,要么还有更好的工具。这一切都取决于使用情况。

现在让我们来讨论一下存储/处理数据用的不同的非SQL工具——NoSQL数据库,内存缓存,全文搜索引擎,实时流,图形数据库,等等。

MongoDB—— 一种流行的,跨平台的面向文档的数据库。

Elasticsearch——专为云而构建的分布式REST风格搜索引擎。

Cassandra——一个开源的分布式数据库管理系统,最初由Facebook开发,被设计用来处理横跨多个商用服务器的大量数据,提供了无单点故障的高度可用性。

Redis—— 一个开源的(BSD许可),内存数据结构存储,作为数据库、缓存和消息代理使用。

Hazelcast——基于Java的开源内存数据网格。

EHCache——一种被广泛使用的开源Java分布式缓存,用于通用缓存、Java EE和轻量级容器。Ehcache相关介绍

Hadoop——用Java编写的一个开源软件框架,用于分布式存储和对在计算机集群上的超大型数据集的分布式处理。

Solr——一个开源的企业搜索平台,用Java编写的,来自于Apache Lucene项目。

Spark——Apache Software Foundation中最活跃的项目,一个开源的集群计算框架。

Memcached—— 一个通用的分布式内存缓存系统。

Apache Hive——提供了Hadoop之上类似于SQL的层。

Apache Kafka—— 一个高通量、分布式的发布-订阅式消息系统,最初开发在LinkedIn上。Windows上脱离Cygwin运行Apache Kafka

Akka—— 一个工具包和运行时,用于在JVM上构建高度并行的、分布式的、有弹性的消息驱动的应用程序。

HBase—— 一个开源的,非关系型的,分布式数据库,在谷歌的BigTable后建模,用Java编写,并运行在HDFS上。

Neo4j——用Java实现的开源图形数据库。

CouchBase——一个开源的、面向文档的分布式NoSQL数据库,特别为了交互式应用而优化。

Apache Storm——开源的分布式实时计算系统。

CouchDB——使用JSON来存储数据的面向文档的开源NoSQL数据库。

Oracle Coherence—— 一个内存的数据网格解决方案,通过提供快速访问常用数据的渠道,使得企业可预测地扩展关键任务应用程序。

Titan—— 一个可扩展的图形数据库,优化的目的在于存储和查询包含数千亿顶点和边的图形,分布在多机集群。

Amazon DynamoDB——一个快速、灵活、完全管理的NoSQL数据库服务,用于在任何规模需要一致的、个位数毫秒延迟的所有应用程序。

Amazon Kinesis—— 用于在AWS上的流数据的实时平台。

Datomic—— 一个用Clojure写的完全事务式的,支持云的,分布式数据库。

 

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2017-11-15 13:43:05
大数据应用 如何克服大数据人才招聘的挑战
像大多数商业事务一样,在大数据相关事务方面取得成功取决于企业的人力资本。对于所有关于机器学习和支配现代市场的算法的讨论,人们仍然是当今商业世界的中心。那么管理者 <详情>
2017-11-15 09:39:00
大数据资讯 当前和未来重要的大数据优势
据预测,以目前的速度发展,到2020年大数据的市场规模将超过2030亿美元。2017年即将结束,随着需求的增长,数据的重点也在以同样的速度增长。今年以来,大数据的主要趋势围 <详情>
2017-11-15 09:28:52
大数据资讯 大数据时代我们需要个人信息保护法吗?
当前,个人信息频繁泄露、大数据安全顶层设计缺失、大数据交易安全第三方监督缺位,在这样的背景下,出台个人信息保护法将成为保护网络信息安全的重要措施。 <详情>
2017-11-14 17:41:00
大数据资讯 滴滴美研升级扩容,全力加载大数据AI人才
今年3月,滴滴宣布在加州硅谷成立滴滴美国研究院,以吸引顶尖科研人才。滴滴美研将研究重点放在大数据安全和智能驾驶两大核心领域。 <详情>
2017-11-14 09:58:27
大数据资讯 大数据、人工智能、机器人的血缘关系?
大数据、人工智能(AI)、机器人、算法、深度学习、物联网、传感器……,这些名词似乎每天都会看到或听到,当人们还搞不清楚是什么时,媒体已不断报导人类的工作将很快被取 <详情>