近年来,突发应急事件频繁发生,给经济社会发展造成较大影响,突发应急事件的不确定性给突发应急管理带来较大挑战。大数据的出现为突发应急事件处置带来新变化、新思路。突发应急事件处置与大数据结合颠覆了传统的突发应急管理理念和思维,推动突发应急事件处置的数据化和技术化,增强了突发应急事件处置的主动性和预测性,极大地提高了政府的突发应急管理能力,为突发应急决策提供参考。

3

大数据在突发应急事件处置中的应用与价值

突发事件的演变与大数据的价值

突发事件,是指突然发生,造成或者可能造成严重社会危害,需要采取应急处置措施予以应对的自然灾害、事故灾难、公共卫生事件和社会安全事件。网络和信息化时代,突发事件的发生、发展呈现出更加复杂多变的态势。基本概念上,网络突发应急事件不仅是突发应急事件在网络中的延伸,更重要的是网络空间扩大了突发应急事件的范围,丰富了突发应急事件的含义。网络安全事故、信息泄露、网络突发舆情、网络恐怖主义等本身就属于突发应急事件的范畴,让突发应急事件带有更多的与网络相关的特点。表现形式上,传统媒体背景下的突发应急事件的发生、发展均具有一定的局限性,且具有较强的可控性和可塑性。但网络背景下的突发应急事件具有更多的不确定性,网络成为突发应急事件的诱发器和助推器,加快了突发事件的传播和扩散,突发事件的影响力成倍增长,且难以有效预防、控制和预测。

大数据顾名思义是大量数据的集合,是一种具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产,需要使用先进的技术和工具来实现数据全链条处理,挖掘出有价值的信息,实现数据“增值”。大数据最重要的作用在于语义引擎、数据管理、数据挖掘、可视化分析、预测分析,弥补了传统突发应急事件处置方法的不足与缺陷,建立了以数据为支撑的突发应急事件处置机制,为突发应急事件处置注入了活力,助力突发事件处置更加精准、高效,指导应急管理作出更加科学的决策。在此次疫情防控阻击战中,大数据在疫情态势研判、防控部署、传播路径分析、人员流动监测和企业复工复产中都发挥了重要作用。

大数据创新应急管理理念和模式

信息通信技术和互联网技术的发展,让大数据技术和应用应运而生,带来了一场信息和数据的变革,颠覆了突发应急事件处置的模式和方法,突发应急事件处置开始由被动转为主动,由事后转为预防。

首先,突发应急事件管理理念的变化。面对信息化时代各行各业、各领域、各事件产生的海量数据,依靠传统的数据统计和分析方法显然难以发现、跟踪和应对突发应急事件。大数据技术为突发事件与应急管理之间搭建了桥梁,为政府部门应对突发事件,加强应急管理提供了全新的思路和理念。数据的客观性、技术的普遍性为突发应急事件管理提供更深入的分析、更快速的预警、更准确的预判,依靠数据和技术决策正日益成为未来突发应急事件处置的主流。

其次,突发应急事件处置方式的转变。大数据与应急管理相结合最重要的特点在于赋能突发应急事件处置。从历史发展的脉络中,从海量的数据中,借助大数据分析技术,发现事件发展的规律和苗头倾向,从而捕捉到突发事件发生前的细微变化。这将极大地增强应急管理工作的可预见性,推动应急处置工作由“后置”转为“前置”,增强事中事后处理的及时性、科学性,真正做到突发应急事件的提前感知、科学防控、趋势预测,将危机最小化。

大数据拓宽应急管理的数据来源

信息化时代的典型特征是信息大爆炸,信息生产、数据传输发生了翻天覆地的变化。移动互联网的发展、新媒体的广泛应用、万物互联的到来、人工智能的日渐普及、生物信息技术的开发利用等让数据量呈几何级增长,极大扩展了突发应急事件的数据来源,拓宽了突发应急管理的边界。IDC发布的报告显示,2018年中国数据圈占全球数据圈的23.4%,达到7.6ZB,预计到2025年将占全球数据圈的27.8%,增至48.6ZB,成为全球大的数据圈。

宏观层面,政府、行业、机构、组织等在应对突发应急事件时获取的数据和信息不再局限于电视、广播、新闻媒体和政府内部数据。我们通过社交平台、短视频、数据中心等途径以及信息感知、关联聚合等大数据技术,可以从多层面、大范围进行信息采集和数据分析,形成突发应急事件的数据绘描和画像,对事件发生、发展及未来变化进行精准定位和趋势预测,为突发应急事件提供规范化的、系统化、体系化的处置机制。

微观层面,个体行为也是突发事件处置关注的重点,相关数据和信息是突发应急事件处置数据收集的对象。信息化时代,个体行为或群体行为可以被数据化,通过对个体及群体行为模式的分析,可以探究突发事件背后的个体特征和作用,以及由众多观点相同或相似的个体组成的群体的行为,从而预测可能爆发的群体性事件。事实上,在不少突发事件中,意见领袖都发挥了发声、引领、形成气候的关键作用。此外,对个体和群体的大数据分析,还能为突发事件应对提供帮助和指导。例如,在地震、洪涝等灾害事件中,众多个体和群体的呼声就是应急工作的关注重点,收集汇总的相关数据无疑为事件处置提供了巨大的帮助。

突发应急事件涉及领域众多,牵扯对象繁杂,没有大量数据和信息支撑难以有效开展相关应对、处置和预测工作。数量来源的增加、数据量的增长都为突发应急管理和决策提供了更广的视野和发挥的空间,助力突发事件的决策分析和应急处置。例如,在新冠肺炎爆发期间,通过收集、分析群体的移动定位数据,精准发现和预测人员流动情况,为疫情防控提供了技术支撑,减少了由于信息缺乏造成的决策失误。

大数据提高突发事件的预警能力

迈尔•舍恩伯格和库克耶在其畅销著作《大数据时代:生活、工作与思维的大变革》中提出:“大数据的核心就是预测,是把数学算法运用到海量的数据上来预测事情发生的可能性。”谷歌曾通过大数据分析,成功预测了甲型H1N1流感的爆发。新冠肺炎疫情期间,大数据技术被广泛应用于人员流动、行程查询、疫情地图、数据统计、资源配置等过程中,成为疫情防控的一大亮点,为政府科学决策提供了巨大的帮助。大数据技术在突发事件预测中的作用已经得到广泛认可,并逐步应用到自然灾害、事故灾难、公共卫生事件和社会安全事件中。

在以往的突发事件的预测中,由于缺乏对大量数据进行计算和分析的能力,人们只能依靠知识总结、试验观察和经验预判,结果具有较大的随意性和个体差异性。大数据技术可以有效实现历史数据、实时数据的全量聚合,从时间、属性、情感等多方维度对数据进行综合分析,找寻数据背后的关联性,挖掘数据的潜在价值,从而得出事件发展的趋势。大数据在突发事件预警监测中的作用主要体现在两个方面。主观方面,利用大数据对过往突发事件的发生、发展进行归纳总结,发现规律,同时与即时数据进行对比分析,判定突发事件发生的概率和方向,以增强突发事件的预见性和处置性,提高政府突发应急事件的处置能力。客观方面,大数据技术能够克服突发事件危机情景下的高紧张度、高强度以及时间压力等不利因素,作出不以个人意志和经验判断为转移的客观分析和预测。

大数据在突发应急事件处置中存在的问题

大数据运用思维欠缺,数据孤岛现象待破解

突发事件的发生是多种因素的结果,具有高度的突发性、紧急性和不确定性,产生较大的社会影响。近年来发生的工厂爆燃、交通事故、地面塌陷以及公共卫生和安全事件等暴露出我国应急管理事前预防不足、事中处置不利的短板和缺陷。

目前来看,大数据在突发事件处置中的应用还没有得到普及和足够的重视。旧的“依靠人力”的思维惯势和一些制度性障碍仍然存在,大数据观念还没有成为主流。首先,政府在突发应急事件的处置中,对数据和信息的收集和运用能力还有待提高,“重结果、轻预测”“重应对、轻分析”的现象普遍存在,使得大数据在突发事件处置中的作用没有得到充分挖掘和展现。其次,我国各部门在突发应急事件处置中各司其职,在数据互通和信息共享方面做得还不够到位,滋生了“信息壁垒”和“数据孤岛”,即各部门间数据不能流通,缺乏大数据基础,难以进行有效的分析和预判,从而无法作出科学的决策。

大数据基础尚不完善,数据库建设任重道远

虽然突发应急事件的类型不断增加,范围不断扩大,但突发事件背后仍有规律可循,历史数据和现有数据就是好的例证。要想做好突发应急事件的预测和预防工作,必须掌握各行业、各领域突发事件的数据,形成突发事件数据库,为突发事件处置和应急管理提供科学支撑。但我国在突发事件的大数据开发和建设方面还处于起步阶段,突发事件数据库亟待推进。

首先,历史数据是突发事件管理和预测的重要依据,缺乏历史数据分析,不可能对某一类型或某一领域的突发事件作出较为全面的归纳总结,更无法建立预测模型进行推演。特别是在重大生产安全事故、群体性事件方面,部分应急管理工作忽视对历史数据的分析、研究,导致类似事件时有发生,屡陷被动局面。

其次,突发应急事件数据库建设面临两大难题。一方面,不管是历史数据还是现有数据,数据的收集、汇总是一项长期性和持续性的工程,需要较大的投入。另一方面,数据库开发、建设缺乏统一的技术标准、数据标准、接口标准,导致部门间系统不能有效对接,数据互联互通大打折扣。

非结构化数据成难题,数据存储分析遇挑战

大数据包括结构化、半结构化、非结构化数据。非结构化数据是指数据结构不规则或不完整的一类数据,包含各种办公文档、音视频、图片、机器数据等,占数据总量的80%以上。相对于结构化数据,非结构化数据具有格式多样、存储占比高、处理难度大的特点。

随着互联网技术的发展,传统的关系型、结构化数据已经不再是主流,非结构化数据所占的比例将会越来越大。突发事件的传播正日益网络化、视频化,产生的大量非结构化数据充斥网络,基于大数据分析的突发应急事件分析、预警正面临非结构化数据处理的难题。首先,大量的非结构化数据的存储耗费大量资源,数据存储将成为挑战。其次,处理这些“笨重”的非结构化数据并非易事,我们仍无法快速、准确地识别图片信息,对视频信息的提取也没有有效的手段。

面对蕴藏着大量价值的非结构化数据,如何扩大存储量和提高存储效率,将“非机构化数据”进行“结构化处理”,清晰地构建突发事件的基本要素,建立分析和预测模型辅助决策,考验大数据时代的应急管理。

新技术新业务带来新变化,多技术融合势在必行

随着新技术、新业务不断涌现,突发事件处置和应急管理也面临数据收集和处理等更多问题和挑战。

一是数据种类纷繁复杂。自媒体、社交媒体为代表的新媒体产生的数据纷繁复杂,种类和格式各异,结构化、非结构化数据混杂其中。部分数据看起来杂乱无章,经过筛选、过滤和清洗之后才能显示出价值,对数据收集归类、分析处理带来较大的困难。

二是数据的封闭和加密。微信、QQ、知乎等圈群类等即时通信工具已经成为信息传播、舆论发源的重要渠道,发布的时效性和传播效率远高于传统新闻媒体的发布渠道,很多突发应急事件第一时间在这些平台上传播扩散,引发全网关注。随着社会公众对隐私保护的日益重视,加密数据或非公开数据在未来将成为主流,越来越难以获取。各种加密聊天工具,如电报、Bridgefy、Firechat等在香港反修例风波中被广泛应用,是信息互通有无、联络串通的主要方式,对应急管理提出较大挑战。

三是“暗网”数据黑暗无边。分析显示,与“明网”相对,“暗网”的数据量占整个网络比例超过90%,是名副其实的大数据库。但“暗网”藏污纳垢,是网络犯罪、毒品交易、儿童色情、暗杀活动、出卖国家情报和不正当金融服务等的“天堂”,突发应急处置难以触及的黑暗场所。未来,突发应急事件处置或需多技术协同助力。

完善突发应急事件处置大数据分析机制的建议

勇敢拥抱大数据,创新突发应急事件处置思维

习近平总书记强调,要运用大数据提升国家治理现代化水平。要建立健全大数据辅助科学决策和社会治理的机制,推进政府管理和社会治理模式创新,实现政府决策科学化、社会治理精准化、公共服务高效化。大数据时代,突发事件处置将越来越依靠大量的有效数据。数据掌握得越多、越全面,数据挖掘得越深、分析得越透彻,越能把握突发事件的规律,发现突发事件的苗头,做出准确的预判,提升应急管理效率。

政府应急管理和处置应该主动拥抱大数据,贯彻大数据治理理念,树立大数据分析思维,加强大数据应用实践,切实发挥大数据在突发应急处置中的作用和效能。要转变应急管理思路,多学、多用,活学、活用数据,用大数据指导突发事件处置工作。努力提高大数据的运用能力,掌握大数据基本概念和分析方法,加强突发事件的监测和预警能力,做到“从大数据中看未来”。

推进共享与合作,提高突发应急事件处置能力

突发应急事件处置重在多方参与、信息联动,数据流通与共享至关重要。首先要打破数据壁垒,实现数据共享融合。近年来,我国高度重视突发应急管理系统的建设,各部门纷纷建立应急管理平台,但数据纵向与横向流通却因为部门利益及技术标准等因素受到阻碍,导致数据利用率不高,难以发挥大数据助力应急管理的作用。打破信息壁垒,畅通数据流通渠道是提高突发事件处置能力的关键之道。要防止政务数据、社会数据等成为“僵尸数据”,着力解决数据“不愿共享”“不敢共享”“不能共享”难题,从思想、管理、制度、法律等多个层面,推动数据共享增值和融合应用,将大数据在突发应急事件处置中的作用大化。例如,疫情期间各地推行的健康码就是数据共享,服务融合的很好的证明。

其次要强化政企合作,形成多方参与格局。信息化时代,突发应急事件处置的主体不应仅仅局限于政府管理者,而应该更多地调动企业、机构、组织的积极性,形成数据合力,为突发事件处置提供参谋。这就要求政企数据能够实现有效对接,充分发挥企业在技术支撑和数据分析等方面的优势,为应急决策提供参考。可以引进第三方技术支撑单位,采购大数据服务,广泛开展大数据合作,建立政企突发应急事件的大数据分析的长效机制。例如,中央网络安全和信息化委员会办公室2020年2月4日发布《关于做好个人信息保护利用大数据支撑联防联控工作的通知》,鼓励有能力的企业在有关部门的指导下,积极利用大数据,分析预测确诊者、疑似者、密切接触者等重点人群的流动情况,为联防联控工作提供大数据支持。

建立大数据中心,统筹突发应急事件处置管理

随着突发事件越来越多,数据流动日益频繁,突发事件跨地域联动趋势越来越明显,数据关联性越来越强。某地发生的一件小的突发事件可能最早是在与其相距甚远的其他地方被首次曝光,转瞬传遍网络和全国各地,演变成区域性甚至全国性事件。为更好地应对突发应事件,加强突发应急管理,必须打破数据的地域边界,通过建立大数据中心或大数据平台,统筹数据管理。

大数据中心或数据平台建设应该满足两个基本要求。一是能够对不同区域、不同部门的数据进行分类和处理,形成全国性或区域性的“数据湖”。要强化数据的集约化处理,以实现数据跨层级、跨地域、跨系统、跨部门、跨业务的流通、调用和分析、处理,提高对突发应急事件的感知、预测和防范能力。二是能够允许数据面向社会大众开放,在确保数据可公开的前提下,保障民众的信息获取权,助力突发应急事件处置。特别是在重大突发应急事件中,实现信息公开更能够稳定社会情绪,调动民众参与的积极性,提高应急管理的灵活性,根据事态发展进行更加精准的调控。在新冠肺炎疫情防控中,新华网的“新冠肺炎疫情最新数据查询及服务权威平台”,丁香园的“全球新冠病毒最新实时疫情地图”等各类数据中心和信息共享平台的数据公开,为社会各界提供了高效、及时的信息,发挥了大数据抗疫的关键作用。

综合运用新技术,破解突发应急事件处置难题

新技术、新业务的发展必将带来数据变革,突发应急事件处置可获取的有效数据将受到影响,仅靠大数据技术难以满足未来突发应急处置的要求。习近平总书记在《求是》杂志发表重要文章《全面提高依法防控依法治理能力,健全国家公共卫生应急管理体系》指出,要改革完善重大疫情防控救治体系。鼓励运用大数据、人工智能、云计算等数字技术,在疫情监测分析、病毒溯源、防控救治、资源调配等方面更好发挥支撑作用。因此,突发应急事件处置应紧跟时代和技术发展变化,不断改革完善应急管理和处置体系,在大数据分析机制的基础上,综合利用现代信息技术,化解相关难题和挑战,提高应急管理的科学化、专业化、智能化、精细化水平,推进应急管理治理体系和治理能力现代化,使我国成为应急管理科技强国。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2023-03-30 11:15:07
云资讯 分布式时代已至,数据如何更有价值?
无论是连通各大集群内大型超大型数据中心,还是连接边缘侧小型、边缘数据中心,分布式云计算都已成为这张算力网络最重要的支撑。在此背景下,云计算步入分布式时代。 <详情>
2023-03-01 19:27:00
市场情报 FlagOpen大模型技术开源体系,开启大模型时代“新Linux”生态
大数据+大算力+强算法=大模型”是当前人工智能发展的主要技术路径。语言大模型ChatGPT成为现象级应用,人工智能进入普及应用的新时期。 <详情>
2023-01-09 09:36:46
大数据资讯 我国互联网广告数据匿名实施服务正式上线
《指南》形成的“技术保障、评估规制、过程控制”的互信制衡机制,适用于各类互联网广告业务,包括广告投放、程序化交易、广告监测等应用场景下的数据匿名化处理。 <详情>
2022-12-30 10:10:19
大数据资讯 中国移动磐维数据库正式发布
未来,随着数据库功能和稳定性等进一步增强,磐维数据库将在中国移动内外部的广泛应用中积累更多复杂业务场景实践经验,进一步提升数据库产品的核心技术能力,助力数智化转 <详情>
2022-12-26 09:43:37
大数据资讯 贵阳大数据交易所年度交易额突破3.59亿元
据悉,下一步,阳大数据交易所将持续完善数据流通交易产业链,强化政策扶持和数据供给,构建数据流通交易市场体系,促进数据交易规范化、 市场化,推动数据要素实现有序流 <详情>