开头下定语:统计学习

中国IDC圈3月30日报道,现在市面上谈论到的数据挖掘基本上都是基于统计学习的监督学习或非监督学习问题。尤其以监督学习应用面更广。

统计学习的应用

分类问题:客户分类模型、异常鉴别、图像识别等

标注问题:信息抽取、自然语言处理等

统计学习的一般流程

得到一个有限的数据集合

确定所有的学习模型集合

确定模型选择的准则,就是学习的策略

实现求解最优模型的算法并通过学习方法选择最优模型

利用学习得到的最优模型对新数据进行分析或预测

步骤一:得到一个有限的数据集合

涉及到以下多个流程:

1. 数据的采集

2. 原始数据的格式化、标准化

3. 原始去噪,去掉错误的值(而不是误差值,这里又涉及到一个复杂的问题,如何界定错误数据)

4. 预处理(针对具体需要研究的问题、抽取相应地特征组成需要研究的数据集合)

步骤二:确定所有的学习模型集合

这个问题取决于我们选择怎么样的学习方法。常见得学习方法有:

1. 感知机模型

2. k近邻法

3. 朴素贝叶斯法

4. 决策树

5. 逻辑斯谛回归和最大熵模型

6. 支持向量机

7. 提升方法AdaBoost

8. EM算法

9. 隐马尔可夫模型

10. 条件随机场

而且这些算法还可以进行变异、组合然后形成新的算法模型。也是通常认为中数据挖掘比较核心的部分。

一些论文:历练NIPS和ICML大会的文章

步骤三:确定模型选择的策略

一般来说,当你确定了你的学习方法后,在学习的过程中会产生很多个模型。而如何在这些模型中间挑选最优的模型,成为了我们亟待解决的问题。

一般衡量一个模型的优秀程度我们使用两个指标:

1. 拟合能力

2. 泛化能力

*拟合能力

表示模型的计算结果和实际结果的相差程度,我们一般使用风险函数来衡量。而风险函数是损失函数的期望。所以我们其实是使用损失函数来衡量一个模型的期望。

常见的损失函数:

1. 0-1损失函数

2. 平分损失函数

3. 绝对值损失函数

4. 对数损失函数

损失函数越小,模型的拟合能力就越好。

*泛化能力

泛化能力是指模型对新数据的预测能力。一般来说,越复杂的模型的拟合能力越强,但是泛化能力越弱。所以我们需要选择一个适当复杂度的模型,使其泛化能力和拟合能力都足够强。

而衡量一个模型同时具有较好地泛化能力和拟合能力,我们一般用结构风险函数

结构风险函数是在风险函数的基础上面加上一个罚项。通过罚项来降低复杂度高的模型的结构风险函数值。从而达到筛选出合适的复杂度的模型的目的。

罚项一般取特征空间w的范数,一般有:

1. L0范数

2. L1范数

3. L2范数

4. 核范数 …

步骤四:实现求解最优模型的算法并通过学习方法选择最优模型

求解最优模型的算法其实就是求解结构风险函数最小值得算法,即结构风险函数最优化的问题。

如果结构风险函数在我们所关心的区域中是凸函数的话,那么任何局部最小解也是全局最优解。现在已经有稳定,快速的数值计算方法来求二次可微地凸函数的最小值。

然而,很多时候我们没有办法通过结构风险函数直接算出它的最小值。我们只能通过一些迭代的方式获得局部最优解。

常见的通过迭代的方式获得局部最优解的算法有:

1. 梯度下降法

2. 牛顿法

3. 共轭梯度法

4. 线性搜索

5. 置信域方法

另外还有一些算法:

1. 模拟退火

2. 遗传算法

3. 类免疫算法

4. 演化策略

5. 差异演化算法

6. 微粒群算法

7. 神经网络

8. 支持向量机

步骤五:利用学习得到的最优模型对新数据进行分析或预测

到这一步一般来说已经成功了,然后往往现实是残酷的,辛辛苦苦20年,一朝回到解放前。

往往学习得到的模型在实际使用过程当中并不是那么的理想。这里面有很多种原因:

有可能是原始数据的原因

有可能是特征选择的原因

有可能是模型的原因

有可能是最优模型算法的问题

有可能是代码错误

总之,以上的所有步骤的所有细节都可能导致你的模型不够优秀。这就需要你再次的思考这个问题,去不断的优化你的模型。直到得到一个不错的模型。

Don’t Panic!

Fighting!

小结

上面是我大概总结的一些关于数据挖掘相关的东西。

其实数据挖掘涉及的东西远比我上面说的这点东西多的多,我上面提到的还只是监督学习。就光我上面提到的几个步骤。其实每一个步骤都有很多很多东西可以讲,可以研究,工程方面的、算法理论方面的等等等等。

一入数据挖掘深似海,从此奋斗到天明。

But,Don’t Panic!

数据挖掘还是很有意思的,你可以用机器的力量、数学的力量理解世界的运行规律。去预测他或者利用你研究到的东西做一些有意思的事情。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2017-11-15 13:43:05
大数据应用 如何克服大数据人才招聘的挑战
像大多数商业事务一样,在大数据相关事务方面取得成功取决于企业的人力资本。对于所有关于机器学习和支配现代市场的算法的讨论,人们仍然是当今商业世界的中心。那么管理者 <详情>
2017-11-15 09:39:00
大数据资讯 当前和未来重要的大数据优势
据预测,以目前的速度发展,到2020年大数据的市场规模将超过2030亿美元。2017年即将结束,随着需求的增长,数据的重点也在以同样的速度增长。今年以来,大数据的主要趋势围 <详情>
2017-11-15 09:28:52
大数据资讯 大数据时代我们需要个人信息保护法吗?
当前,个人信息频繁泄露、大数据安全顶层设计缺失、大数据交易安全第三方监督缺位,在这样的背景下,出台个人信息保护法将成为保护网络信息安全的重要措施。 <详情>
2017-11-14 17:41:00
大数据资讯 滴滴美研升级扩容,全力加载大数据AI人才
今年3月,滴滴宣布在加州硅谷成立滴滴美国研究院,以吸引顶尖科研人才。滴滴美研将研究重点放在大数据安全和智能驾驶两大核心领域。 <详情>
2017-11-14 09:58:27
大数据资讯 大数据、人工智能、机器人的血缘关系?
大数据、人工智能(AI)、机器人、算法、深度学习、物联网、传感器……,这些名词似乎每天都会看到或听到,当人们还搞不清楚是什么时,媒体已不断报导人类的工作将很快被取 <详情>