工业大数据：数据采集的那些事_大数据技术

7vMfQrQ

实现工业4.0，需要高度的工业化、自动化基础，是漫长的征程。工业大数据是未来工业在全球市场竞争中发挥优势的关键。无论是德国工业4.0、美国工业互联网还是《中国制造2025》，各国制造业创新战略的实施基础都是工业大数据的搜集和特征分析，及以此为未来制造系统搭建的无忧环境。不论智能制造发展到何种程度，数据采集都是生产中最实际高频的需求，也是工业4.0的先决条件。

数字化工厂不等于无人工厂，产品配置，制造流程越复杂越多变，越需要人的参与；在数字化工厂当中，工人更多地是处理异常情况，调整设备。但数据采集一直是困扰着所有制造工厂的传统痛点，自动化设备品牌类型繁多，厂家和数据接口各异，国外厂家本地支持有限，不同采购年代。即便产量停机数据自动采集了，也不等于整个制造过程数据都获得了，只要还有其他人工参与环节，这些数据就不完整。

工业数据采集类型

互联网的数据主要来自于互联网用户和服务器等网络设备，主要是大量的文本数据、社交数据以及多媒体数据等，而工业数据主要来源于机器设备数据、工业信息化数据和产业链相关数据。

从数据采集的类型上看，不仅要涵盖基础的数据，还将逐步包括半结构化的用户行为数据，网状的社交关系数据，文本或音频类型的用户意见和反馈数据，设备和传感器采集的周期性数据，网络爬虫获取的互联网数据，以及未来越来越多有潜在意义的各类数据。主要包括以下几种：

1、海量的Key-Value数据。在传感器技术飞速发展的今天，包括光电、热敏、气敏、力敏、磁敏、声敏、湿敏等不同类别的工业传感器在现场得到了大量应用，而且很多时候机器设备的数据大概要到ms的精度才能分析海量的工业数据，因此，这部分数据的特点是每条数据内容很少，但是频率极高。

2、文档数据。包括工程图纸、仿真数据、设计的CAD图纸等，还有大量的传统工程文档。

3、信息化数据。由工业信息系统产生的数据，一般是通过数据库形式存储的，这部分数据是好采集的。

4、接口数据。由已经建成的工业自动化或信息系统提供的接口类型的数据，包括txt格式、JSON格式、XML格式等。

5、视频数据。工业现场会有大量的视频监控设备，这些设备会产生大量的视频数据。

6、图像数据。包括工业现场各类图像设备拍摄的图片（例如，巡检人员用手持设备拍摄的设备、环境信息图片）。

7、音频数据。包括语音及声音信息（例如，操作人员的通话、设备运转的音量等）。

8、其他数据。例如遥感遥测信息、三维高程信息等等。

数据采集的方法

传统的数据采集方法包括人工录入、调查问卷、电话随访等方式，大数据时代到来后，一个突出的变化是数据采集的方法有了质的飞跃，下面所介绍的数据采集方式的突破直接改变着大数据应用的场景。

1、传感器

传感器是一种检测装置，能感受到被测量的信息，并能将检测感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求。在生产车间中一般存在许多的传感节点，24小时监控着整个生产过程，当发现异常时可迅速反馈至上位机，可以算得上是数据采集的感官接受系统，属于数据采集的底层环节。

传感器在采集数据的过程中主要特性是其输入与输出的关系。

其静态特性反映了传感器在被测量各个值处于稳定状态时的输入和输出关系，这意味着当输入为常量，或变化极慢时，这一关系就称为静态特性。我们总是希望传感器的输入与输出成唯一的对照关系，好是线性关系。

一般情况下，输入与输出不会符合所要求的线性关系，同时由于存在这迟滞、蠕变等因素的影响，使输入输出关系的唯一性也不能实现。因此我们不能忽视工厂中的外界影响，其影响程度取决于传感器本身，可通过传感器本身的改善加以抑制，有时也可以加对外界条件加以限制。

2、RFID技术

RFID（Radio Frequency Identification，射频识别）技术是一种非接触式的自动识别技术，通过射频信号自动识别目标对象并获取相关的数据信息。利用射频方式进行非接触双向通信，达到识别目的并交换数据。RFID技术可识别高速运动物体并可同时识别多个标签，操作快捷方便。

在工作时，RFID读写器通过天线发送出一定频率的脉冲信号，当RFID标签进入磁场时，凭借感应电流所获得的能量发送出存储在芯片中的产品信息（Passive Tag，无源标签或被动标签），或者主动发送某一频率的信号（Active Tag，有源标签或主动标签）。

阅读器对接收的信号进行解调和解码然后送到后台主系统进行相关处理；主系统根据逻辑运算判断该卡的合法性，针对不同的设定做出相应的处理和控制，发出指令信号控制执行机构动作。

RFID技术解决了物品信息与互联网实现自动连接的问题，结合后续的大数据挖掘工作，能发挥其强大的威力。

数据采集技术难点

在当今的制造业领域，数据采集是一个难点。很多企业的生产数据采集主要依靠传统的手工作业方式，采集过程中容易出现人为的记录错误且效率低下。

有些企业虽然引进了相关技术手段，并且应用了数据采集系统，但是由于系统本身的原因以及企业没有选择最适合自己的数据采集系统，因此也无法实现信息采集的实时性、精确性和延伸性管理，各单元出现了信息断层的现象。

技术难点主要包括以下几方面：

1、数据量巨大。任何系统，在不同的数据量面前，需要的技术难度都是完全不同的。

如果单纯是将数据采到，可能还比较好完成，但采集之后还需要处理，因为必须考虑数据的规范与清洗，因为大量的工业数据是“脏”数据，直接存储无法用于分析，在存储之前，必须进行处理，对海量的数据进行处理，从技术上又提高了难度。

2、工业数据的协议不标准。互联网数据采集一般都是我们常见的HTTP等协议，但在工业领域，会出现ModBus、OPC、CAN、ControlNet、DeviceNet、Profibus、Zigbee等等各类型的工业协议，而且各个自动化设备生产及集成商还会自己开发各种私有的工业协议，导致在工业协议的互联互通上，出现了极大地难度。

很多开发人员在工业现场实施综合自动化等项目时，遇到的大问题及时面对众多的工业协议，无法有效的进行解析和采集。

3、视频传输所需带宽巨大。传统工业信息化由于都是在现场进行数据采集，视频数据传输主要在局域网中进行，因此，带宽不是主要的问题。

但随着云计算技术的普及及公有云的兴起，大数据需要大量的计算资源和存储资源，因此工业数据逐步迁移到公有云已经是大势所趋了。但是，一个工业企业可能会有几十路视频，成规模的企业会有上百路视频，这么大量的视频文件如何通过互联网顺畅到传输到云端，是开发人员需要面临的巨大挑战。

4、对原有系统的采集难度大。在工业企业实施大数据项目时，数据采集往往不是针对传感器或者PLC，而是采集已经完成部属的自动化系统上位机数据。

这些自动化系统在部署时厂商水平参差不齐，大部分系统是没有数据接口的，文档也大量缺失，大量的现场系统没有点表等基础设置数据，使得对于这部分数据采集的难度极大。

5、安全性考虑不足。原先的工业系统都是运行在局域网中，安全问题不是突出考虑的重点。

一旦需要通过云端调度工业之中最为核心的生产能力，又没有对安全的充分考虑，造成损失，是难以弥补的。2015年，受网络安全事件影响的工业企业占比达到30%，因病毒造成停机的企业高达20%。仅美国国土安全部的工业控制系统网络应急响应小组(ICS-CERT)就收到了295起针对关键基础设施的攻击事件。

工业数据采集方案案例一、物联网工业现场数据采集系统

quaU7bZ