云计算技术:起源、概念与解读
中国IDC圈5月11日报道,自从2006年谷歌推出“Google 101计划”并正式提出“云”的概念和理论,“云”开始渐渐走入大众的视野。亚马逊、微软、IBM等公司也随后宣布了自己的“云计划”,一时间,风起“云”涌。到底什么是“云”?其实这个词语很巧妙地解释了这样一种计算机网络:只要能够连入网络,作为接受服务的对象的你,无论身处何时何地都能够享受到来自网络端提供的服务,用来实现计算、存储等功能。
云计算是分布式处理、并行处理和网格计算的发展,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。网络服务提供者可以在数秒之内,处理数以千万计甚至亿计的信息,这意味着计算能力也可作为一种商品通过互联网进行流通。
云存储是在云计算概念上衍生出的一个概念,通过集群应用、网格技术或分布式文件系统等功能,使用者可以在任何时间、任何地方,透过任何可连网的装置连接到云上方便地存取数据,既能保证数据的安全性,又节约了存储空间。
云计算的概念
云计算的概念可以从用户、技术提供商和技术开发人员三个不同角度来解读。
就用户的体验和效果而言,云计算系统可以看作是一个信息基础设施,包含有硬件设备、软件平台、系统管理的数据以及相应的信息服务。用户可以根据自己的需要,通过网络去获得自己需要的计算机资源和软件服务;这些计算机资源和软件服务是直接供用户使用,而无需用户做进一步的定制开发、管理和维护等工作。同时,这些计算机资源和软件服务的规模可以根据用户业务变化和需求的变化,随时调整到足够大的规模。
技术提供商强调云计算系统需要组织和协同大量的计算资源,来提供强大的IT能力和丰富的软件服务,利用调度优化的技术来提高资源的利用效率。云计算系统提供的IT能力和软件服务针对用户的直接需求,并且这些IT能力和软件服务都在互联网上进行发布,允许用户直接利用互联网来试用这些IT能力和服务。用户对资源的使用,按照其使用量来进行计费。
作为云计算系统的设计和开发人员,技术开发人员认为云计算是一个大型集中的信息系统,该系统通过虚拟化技术和面向服务的系统设计等手段,来完成资源和能力的封装以及交互,并且通过互联网来发布这些封装好的资源和能力。虚拟化技术和Web服务是最为常见的封装和呈现技术,可以把硬件资源和软件功能等打包,并且以虚拟计算机和网络服务的形式呈现给用户使用。
这些理解角度看上去各异,实际上三者的终极目标是一致的,即将计算、服务和应用作为一种公共设施提供给公众,使人们能够像使用水、电、煤气和电话那样使用计算机资源。目前已经有不少公司提供相关实用的云产品,它们的表现形式也多种多样,比如在线协作与发布、云阅读与终端云同步、云搜索引擎、云盘等,云中的资源可以随时获取按需使用,并且随时扩展,用户可以按照使用情况来付费。
安防大数据:安防行业发展的云趋势
随着安防视频监控系统技术的进步和安防系统建设规模的增长,安防系统的发展需求发生了深刻的变化,大集成、大联网、高效数据分析和处理已经成为了安防行业的大趋势。视频图像以及数据信息的汇聚、整合和集成,逐步形成了海量数据中心,快速推动安防行业进入大数据时代。
当前安防行业涉及的数据信息类型很多,从数据的结构类型来看,包括各类非结构化、结构化以及半结构化信息。非结构化数据主要包括视频录像和图像记录,如监控视频录像、报警录像、车辆卡口图片、人脸抓拍图片、报警抓拍图片等;结构化数据则包括报警记录、系统日志记录、运维数据记录、摘要分析等结构化描述信息,以及各种相关的信息数据库,如人口信息、地理数据信息、车驾管信息等;半结构化数据则如人脸建模数据、指纹记录等。所有这些数据作为一个整体,构成了安防系统的大数据基础。
除了与一般的IT大数据类似的4V特征——数据体量巨大(Volume)、数据种类多(Variety)、价值密度低但蕴含非常有用的价值信息(Value)、更新速度快与实时性强(Velocity)——之外,安防大数据有其自身的显著特征:
其一,不管是数据类型还是信息类型,安防大数据的种类很多,而且主要以视频图像等非结构化信息为主,更侧重于对非结构化数据的信息分析、提取和挖掘;其二,就数据容量而言,安防大数据所产生的数据量更大,所需要消耗的存储空间也更大,对数据的存储、访问和管理要求更高;其三,以数据量基础做比较,安防大数据中的信息价值密度更低,因此从海量的图像信息中快速和准确地检测或者挖掘到有用信息的难度更大;最后,就单个信息生成点更新的频率来看,安防数据更新速率更快,视频监控数据7×24小时都在持续不断的更新和积累,信息一直不停地产生与更新。
由于这些大数据的特性,对于海量非结构化视频数据以及各类图像特征数据的存储、管理、分析和应用给安防行业带来巨大的挑战,也促使新的安防信息处理技术和应用架构的出现。
云计算与大数据技术在安防领域的应用主要体现在以下三个方面:
1. 云存储技术解决了海量视频大规模存储、管理和应用的问题。
云存储采用存储虚拟化技术,能够为所有的业务系统提供一个统一的存储空间,且通过分布式存储技术,可以支持快速的视频资源读写;采用先进的数据离散冗余技术,提供高可靠性,单台设备可以允许三个甚至更多硬盘的损坏,数据不会丢失;提供百PB以上的数据管理能力,并且能够平滑扩容,扩容过程对业务不影响。
2. 基于云计算的分布式智能分析技术,能够快速处理海量视频图像。
通过弹性资源分配、并发处理技术,大量的视频图像数据被快速地处理,视频的目标也被快速地从视频中提取出来,支撑视频的分析应用。
3. 大数据技术可以将视频监控系统内的视频目标信息,包括前端感知型摄像机抓取到的目标信息、分布式智能视频分析系统分析出来的信息,以及过车信息、车辆特征信息等都关联起来,进行信息的综合分析。
云存储、分布式智能分析技术,以及分布式大数据都用到了云计算技术,分布式大数据则使用了大数据的分析引擎,它们之间联系紧密。对于安防行业而言,如何将云计算与大数据技术真正落实到安防项目中,对于解决视频图像的行业级别应用难题是非常有价值的思考。 典型应用:南宁——云端的平安城市
南宁的平安城市建设,某种意义上说正是在“云”端开展起来的。
从2011年开始,经过两期的建设,笔者公司已助力南宁初步建立起平安城市的总体框架。随着南宁平安城市建设规模的不断扩大,公安部门在图像实战应用过程中,一些问题逐步凸显,主要表现为:①监控与卡口点位覆盖面仍然不足;②系统存储的视频图像已达PB级别,很难满足高效存储管理和快速调用的需求,平滑扩容难度增加;③视频线索检索、定位、提取主要依赖人海战术,效率不高。
针对以上出现的问题,南宁平安城市项目三期正式启动。经过与公安部门的共同商讨,决定应用云、感知、大数据等先进技术,从前端、平台、存储以及应用等方面提高南宁平安城市建设图像的使用效能。在云应用方面,南宁走在了时代的前列。
运用云计算技术,南宁构建起社会治安管理监控报警联网系统云计算平台,能够支撑对10000路监控前端的系统管理与调度。云计算平台实现了物理资源的统一管理和调度,能够密切监测资源应用情况并按需调度分配资源,通过设备虚拟化、集群虚拟化技术,提升了物力资源的利用效率与系统整体服务的可靠性。
云存储对分散在各分局的监控平台和存储设备统一集中,所有涉及平安城市的视频图像、车辆信息、人员信息等全部集中存储、集中管理。云存储系统提供了海量视频图像的存储管理、高性能数据读写、高可靠数据保护、便捷数据共享以及横向平滑扩容等能力,为南宁市平安城市云平台奠定了强大的数据存储应用基础。考虑到远期建设规划,在云存储系统的机房、运维等环境建设上都留有扩展冗余的空间和能力,可方便地扩容以满足未来业务需求。
云平台具备高性能视频数据分析计算处理能力,能够支撑各种大规模视频监控业务、视频图像应用系统的运行,在智能视频分析中能更准确地对视频图像信息进行摘要和分析,快速响应大量业务数据服务,满足来自各部门、各区域的业务系统与用户的海量并发请求。视频分析处理后的各类线索信息以及其他结构化和非结构化数据也可以更快、更精准地进行关联和分析,以支撑同时建设的各项视频业务应用系统。
到目前为止,南宁的平安城市建设应用了云存储、大数据云平台、多项视频图像综合业务系统。云计算和大数据技术正组成功能强大的安防云,为南宁市民的生活提供安全保障。目前云技术正处于起步阶段,然而我们从南宁的平安城市建设可以感受到安防行业的云趋势。相信在不久的将来,借助云计算和大数据的技术东风,人们能全面享受到云端安防带给我们的安全感。