数据科学家使用统计分析工具深度挖掘数据潜在的内容时经常会遭遇到大数据挖的坑,实际上这些坑并不是只有大数据才有,大自然本身就存在很多虚假的相关性,大数据只是更加剧了这种虚假的相关性。

559_meitu_1

随着数据来源的增多和预测类型的多样化,数据建模关系的数量开始接近无穷大。正如David G. Young指出的那样,在预测分析的时候,我们要看到相互作用,变化的曲率、意义,有时甚至要看到变化的标志。

在做数据建模的相关性分析时,最关键的是找对数据范围,尤其是设置合适的变量和算法。一旦你找到了变量和算法的正确组合,那么你就掌握了正确打开相关性分析的密钥。

有时候,我们会发现数据建模的相关性可能和实际情况并不相符,它只是你自以为正确的数据模型。即使你本身并没有欺骗的意图,也是按照科学的方法来建模的,但是你的数据模型并不一定能帮助你获得数据背后的真正洞察力。

认知偏差是每一个人都会犯的错误,即使你是一个非常优秀的数据科学家也不能百分百确保不犯数学和逻辑上的错误、正确的挖掘出数据背后的价值。

诺贝尔经济学奖获得者丹尼尔·卡纳曼在他的著作《思维说,快与慢》中表示:人类如果没有接受教育,那么每个人都是生而不同的。我们可能无法看透数据统计的深层次内容,但是现实世界确实存在着某种规律,这种规律有时难以捉摸,但有时我们只凭直觉就可以找到。

如果你是一个正在探索数据驱动的数据科学家,那么你就要注意虚假相关性,它将会是一个非常危险的陷阱。这种虚假相关性产生的原因可能是数据科学家太想要验证某个假设,也可能是迫于企业的商业模式的要求。利用这种虚假相关性建立的数据模型也许能够解决一时的问题,但是它本质还是一个劣质的模型,经不起时间的考验,说不定会在哪个瞬间给你致命的一击。

那么数据科学家如何才能减少在数据挖掘时无意中做出虚假统计相关性的概率。

集成学习

集成学习是使用一系列学习器进行学习,并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。这种方法的难点在于要在不同的样本中进行训练,采用不同的算法,但是这种方法能够有效的揭示一些相关性。集成学习的算法是通过独立模型的结果集的训练、取平均、bagging、boosting等多种方法得到的,能够有效减少各层模型之间的差异。

A/B测试

A/B测试其实是一种“先验”的实验体系,属于预测型结论,与“后验”的归纳性结论差别巨大。A/B测试顾名思义就是为同一个目标设计A、B两套方案,其中一个为守擂者,一个为攻击者,通过科学的实验设计、真实的数据监测来选出具预测价值的方案。

稳健模型

这种方法涉及到数据建模的方方面面,为了确保预测是稳定的,我们要多方考虑,比如数据源、采样技术、算法方法、时间等等。此外,离散点分析也是非常重要的,Vincent Granville前几年就已经表示数据集的异常有可能掩盖数据的真正模式,增加虚假相关性的发生率。

“数据驱动决策”已经成为这个时代的潮流,好的决策应该是数据驱动的,所以数据模型的建立就显得尤为重要。如果你是一个数据科学家,希望以上的方法能够对你建模有所帮助。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2023-08-24 09:38:00
大数据资讯 关注县域数据能力建设,抢占产数业务发展先机
2023年《数字中国建设整体布局规划》正式发布,数据能力已成为我国区域发展的底座和创新引擎。 <详情>
2023-03-30 11:15:07
云资讯 分布式时代已至,数据如何更有价值?
无论是连通各大集群内大型超大型数据中心,还是连接边缘侧小型、边缘数据中心,分布式云计算都已成为这张算力网络最重要的支撑。在此背景下,云计算步入分布式时代。 <详情>
2023-03-01 19:27:00
市场情报 FlagOpen大模型技术开源体系,开启大模型时代“新Linux”生态
大数据+大算力+强算法=大模型”是当前人工智能发展的主要技术路径。语言大模型ChatGPT成为现象级应用,人工智能进入普及应用的新时期。 <详情>
2023-01-09 09:36:46
大数据资讯 我国互联网广告数据匿名实施服务正式上线
《指南》形成的“技术保障、评估规制、过程控制”的互信制衡机制,适用于各类互联网广告业务,包括广告投放、程序化交易、广告监测等应用场景下的数据匿名化处理。 <详情>
2022-12-30 10:10:19
大数据资讯 中国移动磐维数据库正式发布
未来,随着数据库功能和稳定性等进一步增强,磐维数据库将在中国移动内外部的广泛应用中积累更多复杂业务场景实践经验,进一步提升数据库产品的核心技术能力,助力数智化转 <详情>