20181106092757941

K―平均算法

K―平均算法是一种得到广泛应用的基于划分的聚类算法。其把M个对象分为N个簇,使得每个簇内具有较高的相似度。

在应用该算法进行数据分析时,首先应输入包含M个对象的数据集A以及簇的数目N。从A中任意选择N个对象作为初始簇中心并且不断重复,随后计算出簇中对象的均值,将每个对象分配到最相似的簇并且不断更新簇均值,最后计算准则函数直到其不再发生变化为止。因为该算法的复杂度大约是0(nkt),所以该算法在处理大数据集时是相对可伸缩的和高效率的。

奇异值分解

假设A是一个m×n阶矩阵,其中的元素全部属于实数域或复数域。如此则存在一个分解使得A=U∑V*。其中U是m×m阶酉矩阵,Σ是半正定m×n阶对角矩阵,而V*是n×n阶酉矩阵的共轭转置矩阵。这样的分解就称为A的奇异值分解。

在MATLAB仿真软件中计算奇异值分解的函数式为:[b.c.d]=svd(x)

主成分分析(PCA算法)

从宏观上来说,主成分分析是指在研究一项变量较多的课题时,将这些变量通过线性变换而简化为几个重要变量的一种多元统计分析方法。而在数据分析领域,主成分分析的主要作用是对大规模的数据集进行分析与简化。其主要体现在降低数据集的维数,同时尽可能保持数据集中的对所研究的问题最有价值的特征。简而言之,就是保留低阶主成分,忽略高阶主成分。其具体方法是通过对协方差矩阵进行特征分解,从而得出数据的特征向量与特征值。主成分分析在数学上可以理解为一个正交化的线性变换,把数据整体变换到一个新的坐标系中,使得这一数据的任何投影的第一大方差在第一主成分上,第二大方差在第二主成分上,依次类推。

决策树学习

从广义上讲,决策树是一种运用图解法的概率分析,即在已知各种事件发生概率的基础上,通过构建决策树来探究期望值大于等于零的概率,同时判断可行性的决策分析方法。

决策树学习是数据分析领域常用的方法,其目的是构建一个模型来预测样本的目标值。一棵决策树的训练就是依据一个既定指标,将训练数据集分为几个子集并且在所产生的子集中不断重复此方法的过程,直到一个训练子集的类标都相同时为止。决策树主要有两种类型:分类树和回归树。其中分类树的输出是样本的类标,而回归树输出的是一个实数。决策树的优点体现在即可以处理数值型数据也可以处理类别型数据,并且适合处理大规模数据。

相关阅读:

张凌云:大数据技术将助力旅游学知识理论的创新

三大方向预测大数据技术发展未来趋势

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2019-07-31 13:34:00
大数据资讯 贵州省人大审议大数据安全保障条例(草案)
7月29日,贵州省十三届人大常委会第十一次会议举行第一次全体会议,听取了贵州省人大法制委员会关于《贵州省大数据安全保障条例(草案)》审议结果的报告,并分组审议了《 <详情>
2019-07-31 13:28:21
大数据资讯 贵州:大数据服务队为传统企业“会诊”
日前,贵州省大数据发展管理局和国家工业信息安全发展研究中心共同主办的大数据与实体经济深度融合全国行在贵阳举行启动会。贵州以大数据为传统企业的转型升级“把脉问诊” <详情>
2019-07-31 13:23:06
大数据技术 贵州大数据让脱贫攻坚“大”有可为
前几年,大数据这个词在不少人眼里恐怕还是“高大上”的代名词。随着近几年信息技术高速发展、互联网的快速普及,全球数据爆发增长、海量集聚,大数据应用渗透到我们生活的 <详情>
2019-07-31 09:58:00
大数据技术 运用大数据实现扶贫脱贫“精准”性
2019年中央一号文件将聚力精准施策,决战决胜脱贫攻坚作为一项硬任务,明确要求到2020年确保现行标准下,农村贫困人口实现脱贫、贫困县全部“摘帽”、解决区域性整体贫困。从 <详情>
2019-07-31 09:05:34
大数据技术 中云数据:用去中心化打破孤岛,“数工场” 实现工业数据互联|创业
“工业数据比电商数据复杂的多,首先它多且杂,传统工业企业产生大量数据但不知道如何应用;其次是它数据产生的频率不规律但是要求很严格,尤其数据不能出错,不然会影响整 <详情>