“大数据”是指一组数据集非常庞大且复杂,以致于很难利用现有的数据库管理工具进行处理。它有助于统一大型数据集,并能够从分析中得出其它信息,而不是来自具有相同数据总量的单独的较小数据集。大数据时代的来临,带来了很多现实中的难题,为了解决这些难题需要新的技术变革,需要新一代的数据库技术,业界称之为大数据技术。IDC这样定义大数据技术:大数据技术将被设计用于在成本可承受的条件下,通过非常快速的采集、发现和分析,从大量化、多类别的数据中提取价值,将是IT领域新一代的技术与架构的变革。
由此看来,大数据产生的第一步就是大数据采集。那么对于安防行业来说,大数据产生的一个最重要的途径就是视频监控,监控摄像机也就成为最重要的大数据采集工具。
数据采集(DAQ),是指从传感器和其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号,送到上位机中进行分析,处理。数据采集系统整合了信号、传感器、激励器、信号调理、数据采集设备和应用软件。是结合基于计算机或者其他专用测试平台的测量软硬件产品来实现灵活的、用户自定义的测量系统。数据采集,又称数据获取,通常有两种解释:一种是从数据源收集、识别和选取数据的过程。另一种是数字化、电子扫描系统的记录过程以及内容和属性的编码过程。数据采集技术广泛应用在各个领域,比如摄像头,麦克风,都是数据采集工具。数据处理是是通过对摄像机等图像采集设备、RFID射频技术、传感器以及移动互联网等方式获得的各种类型的结构化及非结构化的海量数据进行辨析、抽取、清洗等操作。
被采集数据是已被转换为电讯号的各种物理量,如温度、水位、风速、压力等,可以是模拟量,也可以是数字量。采集一般是采样方式,即隔一定时间(称采样周期)对同一点数据重复采集。采集的数据大多是瞬时值,也可是某段时间内的一个特征值。准确的数据测量是数据采集的基础。数据量测方法有接触式和非接触式,检测元件多种多样。不论哪种方法和元件,均以不影响被测对象状态和测量环境为前提,以保证数据的正确性。数据采集含义很广,包括对面状连续物理量的采集。在计算机辅助制图、测图、设计中,对图形或图像数字化过程也可称为数据采集,此时被采集的是几何量(或包括物理量,如灰度)数据。
在互联网行业快速发展的今天,数据采集已经被广泛应用于互联网及分布式领域,数据采集领域已经发生了重要的变化。首先,分布式控制应用场合中的智能数据采集系统在国内外已经取得了长足的发展。其次,总线兼容型数据采集插件的数量不断增大,与个人计算机兼容的数据采集系统的数量也在增加。国内外各种数据采集机先后问世,将数据采集带入了一个全新的时代。
安防大数据的采信,主要是前端摄像图的图像获取。安防大数据有两个方面的内涵——海量和非结构化。视频监控数据量规模庞大,并且随着高清化、超高清化的趋势加强,视频监控数据规模将以更快的指数级别增长;与通常讲的结构化数据不同,视频监控业务产生的数据绝大多数以非结构化的数据为主,这给传统的数据管理和使用机制带来了极大的挑战。