随着信息技术和网络及各类传感设备、海量存储技术的飞速发展,数据的定义和收集方式产生了革命性的变化,大数据应运而生。相比传统分析方法,大数据技术拥有无可比拟的优势,然而大数据技术所引发的一系列关于认知论的哲学难题——大数据的假设及伦理问题——同样不容忽视。John Symon和Ramón Alvarado 2016年发表在《大数据与社会》(Big Data & Society)的论文《我们可以信任大数据吗?把科学哲学运用在计算机软件上》(Can we trust big data? Applying philosophy of science to software)表示:在很多情况下,道德与认识论问题密不可分。解铃还需系铃人,只有尽可能弄清大数据如何影响并改变了认识论,才能从根本上改善大数据技术潜在的问题。例如,通过大数据技术我们可以知道什么?这些技术的局限性在哪里?以及大数据的“新”到底体现在哪里?

大数据技术

有关大数据的主流文献常常表现出对科学哲学和认知论的不同看法,结论均基于一个假设:大量的数据及通过大数据分析发现的模式是独立于理论基础的。换句话说,很多大数据学者错误地认为数据量越大,分析结果就越可靠,而理论立场可有可无。这种研究大数据而不考虑当代科学哲学的做法既不明智也不可取。大数据的核心在于如何使用大数据技术来捕捉和分析数据,而大数据技术多涉及算法,我们只有充分理解各种算法的局限性和风险,明白这些算法会如何引致以及引致什么样的误差,才能决定到底多大程度可以对这些算法施以信任、加以限制。

文章首先介绍了大数据的定义并试图解释大数据的局限性,然后就以往研究对大数据的批评进行了概述,并接着论证为什么科学哲学和社会认识论与大数据技术息息相关。解决认识论担忧的最好办法是参与到计算建模与模拟的科学哲学辩论当中。基于Paul Humphreys提出的“认知模糊”,作者表示,大数据的“认知模糊”关键在于大数据技术对错误管理和错误检验的忽视,而错误问题同时也是大数据认识论的一个重要特征。要改善大数据认识论的缺陷,就必须正视误差的影响。基于这一考虑,文章就误差检验与纠正的主要特性及软件误差和路径复杂性之间的关系进行了阐述,并介绍了误差检验的常规统计方法(如Mayo的严格检验及模拟验证),以及当处理大数据的软件系统受到高度制约时这些误差检验的缺陷。最后,以谷歌流感趋势为例,文章进一步讨论了大数据技术的局限性,尤其是局限性的根源。

那么,我们可以信任大数据技术吗?文章表示,这不仅仅在于软件的开发与修正本身,而更加在于认知对软件的开发—修改—更新这个循环过程的指引作用。大数据技术是科学哲学与社会认识论争辩的产物,在运用时不应脱离科学哲学思想的指引。缺乏认知则会大大限制我们发现错误的能力。

总而言之,大数据技术作为一种工具不可避免地存在局限性。从本质上讲,这些局限性反映了大数据技术背后理论的缺失。更重要的是,这些局限性清晰地表达了大型软件系统的常规误差监测、修正与评估对内在认识论的挑战。

关注中国IDC圈官方微信:idc-quan或微信号:821496803 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2017-07-19 12:06:10
国内资讯 国家大数据中心等建设提速 中心地区带动发展趋势凸显
以中心地区带动发展已经成为我国目前培育经济新动能的主要方,向记者从多个部门了解到,以北京、上海等大城市为主,我国部署了多批国家大数据中心、国家科学中心、国家制造 <详情>
2017-07-19 12:05:00
大数据资讯 苹果落地贵州,并非正巧砸中了谁的头
落户贵州的iCloud主数据中心是苹果公司在中国建立的第一个数据中心,该项目的成功合作有利于提升苹果iCloud中国用户体验和服务质量,对加快贵州大数据综合试验区建设具有重 <详情>
2017-07-19 11:25:45
云资讯 云计算、大数据和AI,如同长江后浪推前浪一般涌现
在云计算、大数据和AI这有望改变世界的“三剑客”中,云计算资格最老。早在2006年,亚马逊就推出了名为AWS的云计算服务,AWS的名字沿用至今。 <详情>
2017-07-19 10:47:00
大数据资讯 中国的人工智能将会在全世界扮演什么样的角色?
最近,风险投资机构Vertex发表了一份生态研究报告,从业内、技术、政策和投资等角度预测了中国未来AI领域的发展。报告认为,中国将会很快成为全球人工智能技术的中心。 <详情>
2017-07-19 10:32:24
大数据资讯 互联网金融收益率普遍降低 大数据成救命稻草?
互联网金融已是一片“红海”,网贷平台发展进入下半场,而收益率普遍降低也成大趋势。 <详情>