随着信息技术和网络及各类传感设备、海量存储技术的飞速发展,数据的定义和收集方式产生了革命性的变化,大数据应运而生。相比传统分析方法,大数据技术拥有无可比拟的优势,然而大数据技术所引发的一系列关于认知论的哲学难题——大数据的假设及伦理问题——同样不容忽视。John Symon和Ramón Alvarado 2016年发表在《大数据与社会》(Big Data & Society)的论文《我们可以信任大数据吗?把科学哲学运用在计算机软件上》(Can we trust big data? Applying philosophy of science to software)表示:在很多情况下,道德与认识论问题密不可分。解铃还需系铃人,只有尽可能弄清大数据如何影响并改变了认识论,才能从根本上改善大数据技术潜在的问题。例如,通过大数据技术我们可以知道什么?这些技术的局限性在哪里?以及大数据的“新”到底体现在哪里?

大数据技术

有关大数据的主流文献常常表现出对科学哲学和认知论的不同看法,结论均基于一个假设:大量的数据及通过大数据分析发现的模式是独立于理论基础的。换句话说,很多大数据学者错误地认为数据量越大,分析结果就越可靠,而理论立场可有可无。这种研究大数据而不考虑当代科学哲学的做法既不明智也不可取。大数据的核心在于如何使用大数据技术来捕捉和分析数据,而大数据技术多涉及算法,我们只有充分理解各种算法的局限性和风险,明白这些算法会如何引致以及引致什么样的误差,才能决定到底多大程度可以对这些算法施以信任、加以限制。

文章首先介绍了大数据的定义并试图解释大数据的局限性,然后就以往研究对大数据的批评进行了概述,并接着论证为什么科学哲学和社会认识论与大数据技术息息相关。解决认识论担忧的最好办法是参与到计算建模与模拟的科学哲学辩论当中。基于Paul Humphreys提出的“认知模糊”,作者表示,大数据的“认知模糊”关键在于大数据技术对错误管理和错误检验的忽视,而错误问题同时也是大数据认识论的一个重要特征。要改善大数据认识论的缺陷,就必须正视误差的影响。基于这一考虑,文章就误差检验与纠正的主要特性及软件误差和路径复杂性之间的关系进行了阐述,并介绍了误差检验的常规统计方法(如Mayo的严格检验及模拟验证),以及当处理大数据的软件系统受到高度制约时这些误差检验的缺陷。最后,以谷歌流感趋势为例,文章进一步讨论了大数据技术的局限性,尤其是局限性的根源。

那么,我们可以信任大数据技术吗?文章表示,这不仅仅在于软件的开发与修正本身,而更加在于认知对软件的开发—修改—更新这个循环过程的指引作用。大数据技术是科学哲学与社会认识论争辩的产物,在运用时不应脱离科学哲学思想的指引。缺乏认知则会大大限制我们发现错误的能力。

总而言之,大数据技术作为一种工具不可避免地存在局限性。从本质上讲,这些局限性反映了大数据技术背后理论的缺失。更重要的是,这些局限性清晰地表达了大型软件系统的常规误差监测、修正与评估对内在认识论的挑战。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2018-04-16 10:06:05
云资讯 大庆市云计算大数据产业工作会议召开
4月13日,大庆市召开云计算大数据产业工作会议,系统总结大庆市大数据云计算产业发展情况,安排部署下步工作任务。市委常委、常务副市长何忠华出席并讲话,副市长于宸、安 <详情>
2018-04-16 09:34:00
大数据资讯 全国城市农贸代表团参观眉山农业云大数据中心
12日上午,由全国城市农贸中心联合会主办,眉山市商务局、眉山圣丰农产品批发市场投资有限公司承办的第十四届全国农产品批发市场联络员大会在眉山举行,来自全国城市农贸中 <详情>
2018-04-16 09:31:00
大数据资讯 上海市大数据中心揭牌 用“数据跑路”替代“群众跑腿”
上海市大数据中心12日正式揭牌。作为“智慧政府”的基础设施,上海将依托大数据中心这个城市数据枢纽,打破部门“数据孤岛”,推动政务服务从“群众跑腿”向“数据跑路”转 <详情>
2018-04-16 09:28:00
大数据资讯 国家健康医疗大数据中心落户长乐 用地1000亩
福州的大数据产业正加速发展。昨日,国家健康医疗大数据中心与产业园建设试点工程(福州园区)挂牌仪式在长乐举行。 <详情>
2018-04-13 15:06:35
大数据资讯 上海大数据中心揭牌成立 今年建成政务“一网通办”总门户
让群众少跑腿,让数据多跑路,实现从“找部门”到“找政府”的根本转变。上海市政府今天下午发布《全面推进“一网通办”加快建设智慧政府工作方案》。 <详情>