随着信息技术和网络及各类传感设备、海量存储技术的飞速发展,数据的定义和收集方式产生了革命性的变化,大数据应运而生。相比传统分析方法,大数据技术拥有无可比拟的优势,然而大数据技术所引发的一系列关于认知论的哲学难题——大数据的假设及伦理问题——同样不容忽视。John Symon和Ramón Alvarado 2016年发表在《大数据与社会》(Big Data & Society)的论文《我们可以信任大数据吗?把科学哲学运用在计算机软件上》(Can we trust big data? Applying philosophy of science to software)表示:在很多情况下,道德与认识论问题密不可分。解铃还需系铃人,只有尽可能弄清大数据如何影响并改变了认识论,才能从根本上改善大数据技术潜在的问题。例如,通过大数据技术我们可以知道什么?这些技术的局限性在哪里?以及大数据的“新”到底体现在哪里?

大数据技术

有关大数据的主流文献常常表现出对科学哲学和认知论的不同看法,结论均基于一个假设:大量的数据及通过大数据分析发现的模式是独立于理论基础的。换句话说,很多大数据学者错误地认为数据量越大,分析结果就越可靠,而理论立场可有可无。这种研究大数据而不考虑当代科学哲学的做法既不明智也不可取。大数据的核心在于如何使用大数据技术来捕捉和分析数据,而大数据技术多涉及算法,我们只有充分理解各种算法的局限性和风险,明白这些算法会如何引致以及引致什么样的误差,才能决定到底多大程度可以对这些算法施以信任、加以限制。

文章首先介绍了大数据的定义并试图解释大数据的局限性,然后就以往研究对大数据的批评进行了概述,并接着论证为什么科学哲学和社会认识论与大数据技术息息相关。解决认识论担忧的最好办法是参与到计算建模与模拟的科学哲学辩论当中。基于Paul Humphreys提出的“认知模糊”,作者表示,大数据的“认知模糊”关键在于大数据技术对错误管理和错误检验的忽视,而错误问题同时也是大数据认识论的一个重要特征。要改善大数据认识论的缺陷,就必须正视误差的影响。基于这一考虑,文章就误差检验与纠正的主要特性及软件误差和路径复杂性之间的关系进行了阐述,并介绍了误差检验的常规统计方法(如Mayo的严格检验及模拟验证),以及当处理大数据的软件系统受到高度制约时这些误差检验的缺陷。最后,以谷歌流感趋势为例,文章进一步讨论了大数据技术的局限性,尤其是局限性的根源。

那么,我们可以信任大数据技术吗?文章表示,这不仅仅在于软件的开发与修正本身,而更加在于认知对软件的开发—修改—更新这个循环过程的指引作用。大数据技术是科学哲学与社会认识论争辩的产物,在运用时不应脱离科学哲学思想的指引。缺乏认知则会大大限制我们发现错误的能力。

总而言之,大数据技术作为一种工具不可避免地存在局限性。从本质上讲,这些局限性反映了大数据技术背后理论的缺失。更重要的是,这些局限性清晰地表达了大型软件系统的常规误差监测、修正与评估对内在认识论的挑战。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2017-11-15 13:43:05
大数据应用 如何克服大数据人才招聘的挑战
像大多数商业事务一样,在大数据相关事务方面取得成功取决于企业的人力资本。对于所有关于机器学习和支配现代市场的算法的讨论,人们仍然是当今商业世界的中心。那么管理者 <详情>
2017-11-15 09:39:00
大数据资讯 当前和未来重要的大数据优势
据预测,以目前的速度发展,到2020年大数据的市场规模将超过2030亿美元。2017年即将结束,随着需求的增长,数据的重点也在以同样的速度增长。今年以来,大数据的主要趋势围 <详情>
2017-11-15 09:28:52
大数据资讯 大数据时代我们需要个人信息保护法吗?
当前,个人信息频繁泄露、大数据安全顶层设计缺失、大数据交易安全第三方监督缺位,在这样的背景下,出台个人信息保护法将成为保护网络信息安全的重要措施。 <详情>
2017-11-14 17:41:00
大数据资讯 滴滴美研升级扩容,全力加载大数据AI人才
今年3月,滴滴宣布在加州硅谷成立滴滴美国研究院,以吸引顶尖科研人才。滴滴美研将研究重点放在大数据安全和智能驾驶两大核心领域。 <详情>
2017-11-14 09:58:27
大数据资讯 大数据、人工智能、机器人的血缘关系?
大数据、人工智能(AI)、机器人、算法、深度学习、物联网、传感器……,这些名词似乎每天都会看到或听到,当人们还搞不清楚是什么时,媒体已不断报导人类的工作将很快被取 <详情>