2017-05-11 11:13:49
被大数据遗忘的基础奠基-Log
在大数据时代,Log是关系数据库对计算机行业的伟大贡献,更是基础技术之一。 <详情>
2017-05-08 11:18:29
如何在多系统和网络拓扑中构建高性能模型?
构建针对各种系统和网络拓扑的高性能可拓展模型技术在本文档中用了一些低级的 Tensorflow Python 基元,在未来,这些技术将被并入高级 API。 <详情>
2017-05-08 11:00:10
大数据“喂养”红利下,知识图谱如何走上新道路?
随着深度学习对于大数据的红利消耗殆尽,深度学习模型效果的天花板日益迫近。 <详情>
2017-04-21 16:29:31
服务端开发指南与最佳实战:数据存储技术,MySQL 数据库安全性
数据库的安全性,即保护数据库,防止未经授权或不合法的使用而造成的数据泄漏和更改破坏。因此,保护数据库的安全性的一般方法是设置用户标识和权限控制。 <详情>
2017-02-07 10:13:37
TensorFlow的开源与Hadoop的开源有什么不同?
出现这种区别最大的原因是来源于Google与Apache本质上不同,Google作为一个商业公司,有的是人来维护代码,基本上不在乎来自公司外的贡献。对于Google来说,开源TF(目测k8s <详情>
2016-12-10 09:56:07
最适合Java开发者的大数据工具和框架
当今编程人员面对的最大挑战就是复杂性,硬件越来越复杂,OS越来越复杂,编程语言和API越来越复杂,我们构建的应用也越来越复杂。根据外媒的一项调查报告,以下列出了Java <详情>
2016-12-07 15:17:31
大数据管道技术 推动Hadoop架构与开发模式的变革
快速数据分析和实时处理的兴起,可能会给大数据管道带来一定的变革,微服务架构正在融入Hadoop领域。 <详情>
2016-08-16 12:00:01
十大最热门的大数据技术
随着大数据分析市场快速渗透到各行各业,哪些大数据技术是刚需?哪些技术有极大的潜在价值?根据弗雷斯特研究公司发布的指数,这里给出最热的十个大数据技术。 <详情>
2016-08-02 13:37:47
大数据安全问题频发 如何应对是关键
核心提示:这是明确的大数据时代,但它不一定是保证大数据安全的时代。有些大型企业的数据库遭到了可怕的大规模破坏,包括家得宝、塔吉特、NiemenMarcus以及最近的阿什利麦 <详情>
2016-07-01 17:49:00
大数据如何为备份和恢复改变游戏规则?
在如今的分布式数据库中,想针对所有那些PB级的数据获得一份可靠的快照并非易事。 <详情>
2016-06-30 13:09:00
2016年互联网行业十大预测:云计算大数据
2016年正策马扬鞭赶来,新的一年互联网行业将产生哪些令人兴奋的潮流呢?这些潮流将对2016年及未来的经济社会产生怎样的影响呢? <详情>
2016-06-30 11:54:22
大数据和云计算究竟有什么关系?
周围总是充斥着大数据和云计算这两个词,然而,实际上,很多人对于云计算和大数据的关系却总是容易混淆,所以总是将“云计算”和“大数据”放在一起讨论, 实则不然。 <详情>
2016-06-29 14:24:00
新产品发布与A轮2000万美元 双喜临门后GrowingIO还要做什么
一个用户一天可能会打开超过12个App,但其中只有3个App的使用时间超过80%。这反映了大多数人使用手机的现状。 <详情>
2016-06-27 09:37:00
大数据重塑未来金融监管方式
回顾金融创新发展的历史,每一次金融的历史变革都与先进的科学技术紧密结合,因此当金融发展到互联网时代,也必将发生新的金融变革。 <详情>
2016-06-23 10:22:06
Nvidia称GPU处理是大数据的未来
Nvidia公司正准备进军大数据业务,Nvidia ANZ地区经理Mark Patane称,未来几年这将是一笔价值数十亿美元的业务。 <详情>
2016-06-16 10:54:21
大数据科普之效率问题
“大数据”是指以多元形式,自许多来源搜集而来的庞大数据组,往往具有实时性。在企业对企业销售的情况下,这些数据可能得自社交网络、电子商务网站、顾客来访纪录,还有许 <详情>
2016-06-15 11:25:21
大数据从何而来?不得不知的7个数据源供应平台
国内外比较知名的数据API产品,基础性的可能更多会选择百度APIStore、聚合数据、Haoservice;而对于行业、专业有特别需求的用户来说,通联数据、Apix会使不错的选择;如果 <详情>
2016-06-03 11:17:42
面试时问你的一些大数据存储问题 解题思路和答案
1. 给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url? <详情>
2016-06-03 11:08:34
HBase GC的前生今世 – 演进篇
所有构建在JVM上的应用或多或少都会受到GC的影响,尤其对于大内存系统更是如此,HBase也不例外。针对GC问题,一方面我们期待JVM能够做出更多地改进和优化,另一方面,我们 <详情>
2016-05-31 17:41:12
儿童健康产业大数据(组图)
 从日常生活到科研商业,大数据掌握着生活发展的趋势。面对大数据时代,谁掌握了数据谁就将掌握先机。如何看待母婴健康大数据的科研开发,谁又会是重新定义儿童健康标准的 <详情>
2016-05-31 16:24:43
除Hadoop外你还需要知道的9个大数据技术
Hadoop是大数据领域最流行的技术,但并非唯一。还有很多其他技术可用于解决大数据问题。除了Apache Hadoop外,另外9个大数据技术也是必须要了解的。 <详情>
2016-05-30 15:35:09
安防大数据挖掘的利刃:模式识别和深度学习技术
人工智能的概念提出已经很多年,但最近一次大热是在“人机大战”战胜世界围棋高手李世石的AlphaGo。同样,近几年安防行业热门的深度学习和模式识别的概念也频频出现在公众 <详情>
2016-05-30 15:31:46
2016-05-26 10:17:37
大数据技术将是传统企业创新的原点
如果你认为大数据技术仅仅是挖掘和处理海量数据,并挖掘其价值并服务大众,那可能还限于Google这些传统互联网企业的数据应用和分析技术带来的产业定义,而对于那些不得不拥 <详情>
2016-05-20 11:27:38
MapReduce朝不保夕的江湖地位
MapReduce已经不再像以往那么重要,就像一个古老的蒸汽引擎被迫让位于更时尚的柴油机车一样。用一位发言人的话说,“摆脱MapReduce,尽快和尽可能多地摆脱。” <详情>
2016-05-20 11:22:08
做好数据挖掘模型的9条经验总结
也许是因为数据挖掘源于实践而非 理论,在其过程的理解上不太引人注意。20世纪90年代晚期发展的CRISP-DM,逐渐成为数据挖掘过程的一种标准化过程,被越来越多的数据挖掘实 <详情>
2016-05-20 10:59:51
Spark 是否真的比 MapReduce 技高一筹
作为一个开源的数据处理框架,Spark 是如何做到如此迅速地处理数据的呢?秘密就在于它是运行在集群的内存上的,而且不受限于 MapReduce 的二阶段范式。这大大加快了重复访问 <详情>
2016-05-20 10:47:24
数据科学家和大数据技术人员工具包
数据科学家和大数据技术人员的工具包:A.大数据技术平台相关2015最佳工具,B.开源大数据处理工具汇总,C.常见的数据挖掘分析处理工具。 <详情>
2016-05-20 10:22:09
数据分析工作常见的七种错误及规避技巧
福尔摩斯有一句名言是如何定义侦探的,而数据科学家在商业中的角色就类似侦探。“我是福尔摩斯,我的工作就是发现别人不知道的。”企业要想保持竞争力,它必须比大数据分析做 <详情>
2016-05-19 10:47:01
大数据处理技术漫谈
大数据发展至今,开源软件层出不穷,也去解决了不同的问题,笔者试图去弄清楚这些,分门别类,后面也可以参照下。 <详情>
2016-05-03 13:53:04
大数据圈盘点:你不知道的15个新技术
对于大数据来说,业界这几周算是比较忙碌的。因为很多初创公司和一些老牌的公司都推出了数据分析和数据管理产品,以及更新了现有产品,提供更丰富的功能与性能。 <详情>
2016-04-28 17:18:50
文思海辉马宁:大数据的分析挖掘与应用
4月27日至28日,由工业和信息化部指导、中国信息通信研究院主办的"2016大数据产业峰会"在北京国际会议中心盛大召开。28日上午,在中国信息通信研究院、数据中心联盟主办的 <详情>
2016-04-28 17:08:59
华三通信孙晓军:数据管治技术与实践
4月27日至28日,由工业和信息化部指导、中国信息通信研究院主办的"2016大数据产业峰会"在北京国际会议中心盛大召开。28日上午,在中国信息通信研究院、数据中心联盟主办的 <详情>
2016-04-22 12:00:33
Spark会把数据都载入到内存么?
很多初学者其实对Spark的编程模式还是RDD这个概念理解不到位,就会产生一些误解。 比如,很多时候我们常常以为一个文件是会被完整读入到内存,然后做各种变换,这很可能是 <详情>
2016-04-21 16:52:18
案例丨13个机器学习和数据科学初创企业简介与启示
筹划开发一个产品,建议优先考虑一下这几个初创企业。也许就会发现一个产品新视角,那就是通过机器学习和预测分析法使产品性能更强大 <详情>
2016-04-20 10:15:44
基于大数据技术的手机用户画像与征信研究
手机用户画像是电信运营商实现“数据驱动业务与运营”的重要举措。首先,介绍了手机用户画像过程中对个人隐私保护的方法,然后分析手机用户画像的数据来源与大数据实现技术 <详情>
2016-04-20 10:00:09
为什么Spark将成为数据科学家的统一平台
数据科学是一个广阔的领域。我自认是一个数据科学家,但和另外一批数据科学家又有很多的不同。数据科学家通常分为统计科学家和数据工程师两个阵营,而我正处于第二阵营。 <详情>
2016-04-18 10:57:55
从Hadoop洞悉大数据市场:路漫漫其修远兮
现今科技界红到发紫的大数据革命的代表性技术就是Hadoop(注:一个分布式系统基础架构)。Hadoop是一个由一系列不同的技术组成的生态系统。做Hadoop相关产品的公司有很多, <详情>
2016-04-15 17:41:28
数据面面观:关于数据挖掘和数据分析
很多关于数据挖掘的帖子和文章都在强调工具、算法和架构等,但其实这些都不是数据挖掘的核心, <详情>
2016-04-14 11:46:32
海量数据解决方案,知多少?
数据量大这个问题最直接的解决方案就是使用缓存,缓存就是将从数据库中获取的结果暂时保存起来,在下次使用的时候无需重新到数据库中获取,这样可以大大降低数据库的压力。 <详情>
2016-04-08 16:14:06
如何用数据来做渠道效果的分析?
渠道推广可能是付费渠道,可能是免费渠道,无论是哪一种渠道推广,都是需要我们付出成本的。 <详情>
2016-03-30 14:18:32
如何使用云数据库管理系统解决数据管理问题?
布置一个好的,可操作的数据库在今天是非常容易的。技术令这一切成为现实。在过去,数据库只是一个想法,它的内容存在于理论之中。但是,现在它们都被创造出来了。你认为10 <详情>
2016-03-30 14:14:00
不同Hadoop上的SQL数据库引擎如何适配BI工作?
Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。 <详情>
2016-03-30 14:09:39
大数据工程师技能图谱
下面是StuQ 发布的大数据工程师技能图谱(仅供参考) <详情>
2016-03-30 11:02:52
当我们说数据挖掘的时候我们在说什么
现在市面上谈论到的数据挖掘基本上都是基于统计学习的监督学习或非监督学习问题。尤其以监督学习应用面更广。 <详情>
2016-03-29 10:07:04
认识数据湖——拥抱开源大数据技术的前提
世界对数据湖的兴趣依然在不断增长,但如果说对数据湖的宣传都是烟雾弹的话,这就贬低了数据湖真正的能力。“数据仓库”和“大数据”等概念都逐渐深入人心,但“数据湖”仍 <详情>
2016-03-25 16:38:04
科普文:从大数据到Hadoop,Spark,Storm
大数据,官方定义是指那些数据量特别大、数据类别特别复杂的数据集,这种数据集无法用传统的数据库进行存储,管理和处理。大数据的主要特点为数据量大(Volume),数据类别复 <详情>
2016-03-23 11:39:00
数据时代的反爬虫绝技
网络爬虫已经成了很普及的网络技术,会代码的可以自己捣鼓一个高级的“人工智能”爬虫,不会的也可以从网上下载一个开源的,然后找个机器或一些代理服务器,就可以肆无忌惮 <详情>
2016-03-16 15:20:14
大数据安全分析常见问题汇总
大数据是时下最火热的IT行业的词汇,随之数据仓库、数据安全、数据分析、数据挖掘等等围绕大数量的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。 <详情>