随着网络时代的到来和普及,现在大量的信息扎堆,在给人们代理快捷方便的同时也给我们带来一个难题,就是大量的数据如何消化以及真假的辨别,其次是这些信息的安全性如何保证,再就是他们的统一处理方式方法。这时一个新的名词出现了——数据挖掘技术。

数据

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知的、但又是潜在有用的信息和知识的过程。由于商业领域采用计算机技术处理业务,产生了大量的业务数据,分析这些数据也不再是单纯为了研究的需要,更主要是为商业决策提供真正有价值的信息。要从海量数据中获得有利于商业运作、提高竞争力的信息,就像从矿石中淘金一样,数据挖掘也因此而得名。

数据挖掘方法是由人工智能、机器学习的方法发展而来,结合传统的统计分析方法、模糊数学方法以及科学计算可视化技术,以数据库为研究对象,形成的数据挖掘的方法和技术。数据挖掘是数据和信息系统及其应用的学科前沿,是综合了数据库、专家系统和可视化等领域的相关技术的多学科和多种网络技术交叉结合的新领域。

数据挖掘过程一般包括以下几个步骤:

(1)数据准备:一般存储在数据库系统中的是长期积累的大量的数据,往往不适合利用这些进行处理,需要做数据准备工作,一般包括数据的选择、净化、推测、转换、数据缩减,通过这些工作生成数据仓库。数据准备是否做好将影响到数据挖掘的效率和准确度以及最终模式的有效性。

(2)数据挖掘:在前面步骤所获得的数据集上进行数据挖掘,可以单独利用也可以综合利用各种数据挖掘方法对数据进行分析,根据数据挖掘的目的。选定数据挖掘算法,选择某个特定数据挖掘算法(如汇总、分类、回归、聚类等)用于搜索数据中的模式。

(3)结果的分析和同化;上面得到的模式模型,有可能是没有实际意义或没有使用价值的。因此需要评估,确定哪些是有效的、有用的模式。评估可以根据用户多年的经验,有些模式也可以直接用数据来检验其准确性。对数据挖掘出的结果进行解释和评价,转换成为能够最终被用户理解的知识。

例如,北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。其中KGB(Knowledge Graph Builder)知识图谱引擎是我们自主研发的知识图谱构建与推理引擎,基于汉语词法分析的基础上,采用KGB语法实现了实时高效的知识生成,可以从非结构化文本中抽取各类知识,并实现了从表格中抽取指定的内容等。KGB同时可以定义不同的动作,如抽取动作,并能自定义各类后处理程序。

数据挖掘技术是一个充满希望的研究领域,商业利益的强大驱动力将会不停地促进它的发展。每年都有新的数据挖掘方法和模型问世,人们对它的研究正日益广泛和深入。对海量文本信息进行有效的数据挖掘已经是自然语言处理、信息检索、信息分类、信息过滤、语义挖掘、文本的机器学习等诸多应用领域基础且关键的研究问题,它影响着上层信息服务与信息共享的质量和水平。NLPIR大数据语义智能技术将对中文数据挖掘技术进行深入研究,必将提供出高质量、多功能的中文数据挖掘算法并促进自然语言理解系统的广泛应用。

相关阅读:

什么是流式大数据,处理技术、平台及应用都

让沉默的大数据为人工智能插上翅膀

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2018-11-05 07:41:31
大数据技术 中国制造业转型究竟缺的是什么?
中国制造2025计划提出之后,越来越多的人开始关注制造业的情况,一层层神秘的面纱被揭开,大家逐渐对制造业的生存现状有了一些认知,更积极的信号是,各领域的专家纷纷会诊 <详情>
2018-11-05 07:35:22
大数据技术 什么是流式大数据,处理技术、平台及应用都
大数据技术的广泛应用使其成为引领众多行业技术进步、促进效益增长的关键支撑技术。根据数据处理的时效性,大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据 <详情>
2018-11-05 06:58:09
大数据资讯 青岛高新区“智慧交通”项目实现交通监、管、控一体化
红绿灯时间过长影响车辆通行,它第一时间进行红绿灯时间调控;通行车辆存在违法行为,它第一时间发现并进行抓拍;深夜里,它时刻坚守岗位,不给违法驾驶员可乘之机,为行人 <详情>
2018-11-02 21:40:06
大数据应用 大数据分析在新型智慧能源建设中的应用
智慧一概念已经提出很多年,这是一种全新的能源形式,包括符合生态文明和可持续发展要求的相关能源技术和能源制度体能源这系。智慧能源是以互联网技术为基础,以电力系统为 <详情>
2018-11-02 18:25:00
国内资讯 IDCC2018 | 中国IDC产业十大事件评选活动开始啦!快来投票哦~
在你心中属于2018年度国内IDC行业的十大事件有哪些呢?给它们投票吧! <详情>