2016-02-16 13:52:00
如何通过自学,成为数据挖掘“高手”
如何通过自学,成为数据挖掘“高手”,且看本文详细介绍。 <详情>
2016-01-29 11:41:41
企业常见的三种数据部门架构优与劣
在之前的传统BI可能因为这些因素,所以没有达到今天的数据在高度,可能是互联网本身发展的因素,数据对于互联网企业价值。但其中有一个很大的因素,可能是传统的BI,更多是 <详情>
2016-01-29 11:35:00
Spark Streaming 的玫瑰与刺
说人话:其实就是讲Spark Streaming 的好处与坑。好处主要从一些大的方面讲,坑则是从实际场景中遇到的一些小细节描述。 <详情>
2016-01-27 11:23:16
MySQL大数据量的导入
在Linux系统操作的,测试过一个一万多行的导入数据,共121m。在Linux下,几秒内导入成功。如果是在phpmyadmin,或者在各个终端中实施导入121M的数据,是比较困难的,你会遇 <详情>
2016-01-27 09:53:47
2分钟读懂Hadoop和Spark的异同
谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有 <详情>
2016-01-25 13:43:30
别把数据湖变成数据沼泽
为了利用大数据做出更为智能的商业决策,很多公司都采用了Hadoop等开源的技术。但是,仅仅凭借Hadoop是无法建好数据湖的。事实上,如果不遵守一些规则,在Hadoop上花费的时 <详情>
2016-01-15 16:07:32
别总想着取代谁 Hadoop和Spark结合起来更好用
Apache的Spark,一个新的大数据框架, 已被描述为一个替代Hadoop的可能。一些观点认为,Spark由于比旧的框架更容易理解和强大,因此在新兴的大数据和分析项目中更适合。 <详情>
2016-01-15 10:17:51
网页抓取工具——2016年大数据行业必备工具
回首2015年,大数据整体市场发展迅猛,政府扶持力度空前,正式将大数据纳入国策也为社会各界提供了很多机遇和便利,放眼国际市场,大数据应用规模仍在持续增涨,几乎人人都 <详情>
2016-01-12 10:39:26
Spark淘汰MapReduce,拯救Hadoop
2016年大数据领域会发生什么情况?考虑到如今在深层神经网络和规范性分析方面取得的进展,你可能觉得这个问题很好回答。而实际上,来自业界的大数据预测大不相同,本文精选 <详情>
2016-01-11 11:11:22
大数据分析技术生态圈一览
大数据领域让人晕头转向。为了帮助你,我们决定制作这份厂商图标和目录。它并不是全面列出了这个领域的每家厂商,而是深入探讨大数据分析技术领域。我们希望这份资料新颖、 <详情>
2016-01-04 16:34:32
【dbdao Hadoop 大数据学习】大数据的动机
在大数据已经成为主流,而其背后的两个主要驱动因素是开源Hadoop软件和云计算的出现。这两种发展使得人们大规模地采用大数据方法以较低的成本处理业务问题。Hadoop是所有大 <详情>
2015-12-31 13:03:11
面向国防安全的网络大数据分析与应用系统
在调研国内外大数据分析与应用研究现状的基础上,针对国防安全领域现有业务体系中存在的数据碎片化、不规范、难共享等突出问题,提出面向国防安全的网络大数据分析与应用方 <详情>
2015-12-31 12:59:52
大数据分析工具如何部署?
通过部署和使用大数据分析工具,分析流程可以帮助公司提高运营效率,产生新的利润,获得竞争优势。企业可选择的数据分析应用程序有很多。比如描述性分析善于描述已发生的事 <详情>
2015-12-31 12:00:40
大数据来袭,你的数据库该整整了
大数据时代数据量的暴涨不仅对数据处理、数据分析等相关大数据技术提出了要求,也让数据库的压力倍增,针对目前状况,数据库该如何应对?    <详情>
2015-12-28 14:03:45
Hadoop各个组件的基本原理
主要记录了Hadoop各个组件的基本原理,处理过程和关键的知识点等,包括HDFS、YARN、MapReduce等。 <详情>
2015-12-28 09:59:07
非结构化数据分析:大数据时代新价值
大数据”是近两年来各界最热议的话题之一,和“大数据”相关的实践几乎成为所有行业在技术和商业两个方面最具创新意义的行动。 <详情>
2015-12-26 13:41:38
大数据时代数据库面临重建?
很多大数据应用的实施似乎都是在一个现有的数据仓库上,添加一个或多个新的大容量数据流,还有一些支持数据存储和业务分析的专业软硬件。数据存储问题通常是通过部署一个专 <详情>
2015-12-25 16:14:01
如何利用大数据加强内网安全?
企业内网承载大量的核心资产和机密数据,虽然用户采用了层层叠加的网络安全防护产品,SOC、监控中心、网管系统、流量分析系统等处处把关,但出现在内网的攻击和泄露事件并 <详情>
2015-12-25 15:28:22
数据分析现在可以知道我们何时打开圣诞礼物
孩子们睁开朦胧的双眼,他们的父母也被从床上叫醒,在圣诞节早晨,有几个小时全家人似乎都放下了手中的移动设备。这是移动与网络数据分析公司Mixpanel最新报告得出的一个结 <详情>
2015-12-25 15:12:59
构建机器学习系统的20个经验教训
数据科学家对优化算法和模型以进一步发掘数据价值的追求永无止境。在这个过程中他们不仅需要总结前人的经验教训,还需要有自己的理解与见地,虽然后者取决于人的灵动性,但 <详情>
2015-12-24 17:05:51
重磅,企业实施大数据的路径
企业实施大数据的具体的建设路径有两个方面,一方面是自下而上,另一方面是自上而下。 <详情>
2015-12-24 10:53:23
如何让Hadoop结合R语言做统计和大数据分析?
R是GNU的一个开源工具,具有S语言血统,擅长 统计 计算和 统计 制图。由Revolution Analytics发起的一个开源项目RHadoop将R语言与Hadoop结合在一起,很好发挥了R语言特长。 <详情>
2015-12-24 10:53:02
覆盖五大数据库 阿里云发布云数据库MongoDB版
日前,阿里云100%兼容MongoDB的云数据库AliCloudDB for MongoDB宣布开放公测,基于三节点副本集的高可用框架,阿里云将数据库的业务可用性保障提高到了99.95%。 <详情>
2015-12-24 10:32:00
3.5万个MongoDB数据库的约680TB数据存被盗风险!
网上至少有3.5万个可以公开访问的不安全MongoDB 数据库,该数字似乎正越变越大。对应的684.8 TB资料存在被盗风险。 <详情>
2015-12-21 11:06:35
Apache Hadoop准实时数据处理的架构模式
Apache hadoop 生态系统已成为企业实时地处理和挖掘大数据的首选。 Apache的Kafka, Flume, Spark, Storm, Samza等技术在不断地推进新的可能。人们很容易泛化大规模实时 <详情>
2015-12-21 10:03:59
Hadoop 之 MapReduce 框架演变详解
Hadoop是一个非常牛掰的分布式架构平台,它的优越性我想不需要我跟大家分享,很多成功的案例都已经在暗示着我们, 未来所谓的大数据,所谓的互联网+,所谓的云……都会找到 <详情>
2015-12-21 09:49:00
大数据的核心:数据挖掘
大数据的核心:数据挖掘。从头至尾我们都脱离不了数据挖掘。其实从大学到现在一直都接触数据挖掘,但是我们不关心是什么是数据挖掘,我们关心的是我们如何通过数据挖掘过程 <详情>
2015-12-19 14:52:51
大数据:人类技术的乌托邦
美国政府曾声明说通过提高美国从大型复杂的数据集中提取知识和管理的能力,来加强整个国家的竞争力,这被认为是跟互联网同一个级别的时代。显然,大数据不止是一个词汇,更 <详情>
2015-12-18 11:33:27
一个成功的数据分析团队:角色与职责
数据分析最常见的失败原因说出来可能会让你惊讶。并非是缺乏数据专业知识或者整合失误,而仅仅是因为企业没有让 “ 利用数据 ” 成为任何人员的职责。太多公司花费好几个月 <详情>
2015-12-17 13:12:45
大数据框架Hadoop和Spark的异同
谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。都是与处理数据有关,但是它们又有什么不同呢? <详情>
2015-12-16 11:35:00
Hadoop数据湖管理服务可望得到进一步完善
大多数企业都认识到免费下载Hadoop软件并载入数据相对轻松,而从大数据分析中创造竞争优势却困难重重。目前又缺少具备Hadoop技术的人才,使该问题愈加错综复杂。因此,企业 <详情>
2015-12-16 10:54:47
Airbnb如何打造大数据引擎
与大多数互联网公司一样,旅行房屋短期租赁网站Airbnb也希望通过分析海量数据提升用户体验和业务营收。Gigaom最近撰文介绍了Airbnb如何在亚马逊云的基础上打造大数据基础架 <详情>
2015-12-15 11:18:33
大数据:从因果分析到相关性分析
统计学家纳特·西尔弗在著名的《信号和噪声》一书中说:“大数据中大多数都是不相干的噪音。除非有很好的技术信息进行过滤和处理,否则将惹上麻烦。 <详情>
2015-12-15 10:25:58
到底如何投放听大数据的准没错
大数据时代从本质上看,是基于技术水平提高所产生的信息爆炸效应。在大数据时代,任何人甚至任何物都可以依托于互联网、移动互联网技术成为信息数据的发布者,所带来的好处 <详情>
2015-12-15 09:52:11
基于数据包分析的大数据技术解决网络安全问题
基于数据包分析的大数据技术可帮助网络管理人员快速的发现、定位各类网络攻击,并且能够在存储期内对任意网络攻击及问题进行回溯分析,做到精细化分析,提供数据包级的支撑 <详情>
2015-12-12 11:25:09
基于数据包分析的大数据技术解决网络安全问题
基于数据包分析的大数据技术可帮助网络管理人员快速的发现、定位各类网络攻击,并且能够在存储期内对任意网络攻击及问题进行回溯分析,做到精细化分析,提供数据包级的支撑 <详情>
2015-12-12 10:28:22
大数据处理需要计算机云计算技术的配合
人们研究大数据,或是利用大数据技术,其战略意义并不在于是谁掌握了多么庞大的大数据信息,而是在于谁能否将已经捕捉到的那些含有一定意义的数据通过专业化处理,将其变成 <详情>
2015-12-08 11:41:25
信息社会中的生产力:云计算以及大数据
信息社会是以数据和信息为主要生产要素,云计算和大数据在当前的信息社会中是不可替代的生产力。大量的数据也迫使人类建设大规模的IT基础设施的来承载数据。 <详情>
2015-12-08 11:21:00
大数据时代背景下的可视化图表工具
信息时代,科技浪潮风起云涌。随着科学技术的飞速发展,人类已经步入了大数据时代。在大数据应用中,可视化图表的表现可谓先声夺人。在大数据的起步阶段,各项技术和应用还 <详情>
2015-12-08 11:12:00
大数据架构hadoop
随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的 <详情>
2015-12-08 11:02:25
实时数据分拣系统TDSort的实现原理
目前TDSort每天分拣万亿的数据入库到TDW、HBase和DB中,在系统出现异常的时候,可以通过重新设置Tube的Offset实现回溯。在整个TDSort的实现过程中有很多后台系统设计的共性 <详情>
2015-12-07 15:39:59
大数据工具比较:R语言和Spark谁更胜一筹?
本文有两重目的,一是在性能方面快速对比下R语言和Spark,二是想向大家介绍下Spark的机器学习库。 <详情>
2015-12-07 10:13:27
大数据的数据安全问题
很多技术方案中,数据的大小会影响到安全控制或配套操作能否正确运行。想象一下,例如,为了确保存储数据和基于文件的数据完整性和可控性,需要对它们进行日志分析、文件监 <详情>
2015-12-07 10:09:03
Hadoop, 深入分析大数据集成与安全问题
想要让网络可用而易控,需要自动化处理大数据的办法——保存、阐释信息,对其分类并通过命令检索。人们需要更优秀的自动化搜索引擎。 <详情>
2015-12-07 09:54:35
赛道单挑:MapReduce与Spark到底谁快?
通常人们认为Spark的性能和速度全面优于MapReduce,但最新的对决显示MapReduce在某些方面也有胜场,而且数据规模越大优势越大。 <详情>
2015-12-07 09:40:37
大数据时代:关于Hadoop12个事实
现如今,Apache Hadoop已经无人不知无人不晓。当年雅虎搜索工程师Doug Cutting开发出这个用以创建分布式计算机环境的开源软件库,并以自己儿子的大象玩偶为其命名的时候, <详情>
2015-12-07 09:35:53
大数据VS小数据:9种数据类型及利用方法
如今,具有压倒性的数据量使得市场营销人员和广告商们已经难以理解哪些信息非常重要,哪些信息是纯粹的噪音,哪些数据是正确的?而哪些数据又是可以信赖的?不同类型的数据 <详情>
2015-12-07 09:22:46
海量数据处理分析中的三个问题和经验总结
海量数据是发展趋势,对数据分析和挖掘也越来越重要,从海量数据中提取有用信息重要而紧迫,这便要求处理要准确,精度要高,而且处理时间要短,得到有价值信息要快,所以, <详情>
2015-12-05 11:12:00
TDBank:腾讯万亿级实时数据接入系统
随着大数据时代的到来,各大互联网公司对于数据的重视程度前所未有,对数据的依赖也越来越重。许多商业公司也推出了自己的大数据平台,同时,也有很多相关的开源系统。总 <详情>