首页 > 企业动态 > 正文
科达:云存储,一场安防存储方式的革命
    2016/4/22 14:19:00    关键字:, “天际”,云存储,存储革命      浏览量:

    科达是业内最早推出云存储系统并得到规模化应用的的安防厂商,其自主研发的云存储系统目前已在多个省市的平安城市及智能交通项目中得到大规模部署,帮助用户简化了海量监控存储系统的维护工作量,同时提升了系统可靠性。

    对于云存储技术,科达这样说:“云存储,正带动一场安防存储方式的革命”。

  云存储为何能够冲击传统存储技术,被越来越多的安防工程商们信赖并运用?都说时势造英雄,云存储技术就是在城市建设发展下呗成功塑造出的“技术英雄”。

    随着平安城市等大型安防项目数量的日益增多,规模的日益庞大,云存储迅速从一个概念词汇,蜕变成一个又一个成熟的产品。环顾四周,业内主流安防厂商都已把云存储作为公司的重点产品,作为未来大型监控项目中的存储解决之道。


  我们为什么需要云存储?

  近年来,在网络化,高清化浪潮的席卷下,NVR存储,NAS存储,SAN存储成为当前安防视频监控行业的主流视频存储方案。其中,对于大中型视频监控系统而言,以iSCSI存储为主的SAN存储方案因技术成熟、存储效率高、部署灵活成为长期的热门选择。

  然而,SAN存储终究到了瓶颈:D1CIP早已是昨日黄花,720P1080P已是市场主流,4K,甚至8K一跃成为新秀;单纯图像存储已是过去式,各类视频分析技术带来的结构化、半结构化数据,都在存储系统上叫嚣着一席之地。视频监控大联网、高清甚至超清化、智能分析的联合推动,促使视频监控系统的监控点数越来越多、视频码流越来越大,存储时间则要求保持不变甚至更长。相较于数字标清时代,一个视频监控系统要求上千TB的存储空间已不再是个例,容量的最佳单位从“TB”变为了“PB”。

  存储容量要达到PB,用传统方法也可以实现,这就出现了通过部署更多的视频存储服务器(或模块)、视频转发服务器(或模块),获取更多流媒体数据存储和转发能力,从而实现系统业务容量扩展,IPSAN存储空间也伴随服务器(或模块)数量的扩展而不断增加的方法。可以说,IPSAN的扩容能力主要受制于存储业务服务器(或模块),从理论上来讲,只要存储业务服务器(或模块)数目足够多、能力足够大,IPSAN存储总能随之扩展。

  因此,从业务能力上看,IPSAN存储似乎能够满足大中型视频监控系统对存储增长的需求。然而,随着存储阵列数量的增加,高清视频码流的增大,读写业务的增多,IPSAN存储系统的非功能性问题也逐步暴露出来,主要有如下4点:

  1、存储设备的管理和维护越来越困难

  在IPSAN存储系统中,存储设备之间相互独立,运维人员需要针对单台设备进行维护和管理。同时,由于其中的硬盘属于消耗品,长时间的高码率并发读写,硬盘故障率也逐步升高。为保证录像不被损坏丢失,必须对设备进行密切的状态监控并随时更换损坏的硬盘。面对几十台规模的存储设备,维护起来已经相当不容易,如果数量达到上百台,维护的工作量就不是一件简单的事情了。

  2、数据存储的可靠性越来越难保证

  IPSAN存储设备对数据的保护依赖于本机磁盘组的Raid技术。业界一般采用Raid5,能允许1块硬盘损坏,但如果同时有2块硬盘损坏,这个Raid组的数据就会丢失。所以,如果出现硬盘损坏,需要尽快更换硬盘进行Raid重构,恢复数据。而在数据重构期间,如果再出现一块硬盘损坏,数据就会丢失,因此Raid重构时间越短越好。然而,Raid重构的时间跟硬盘容量有关系,以3T磁盘为例,按照在线修复的模式,磁盘的平均写入速度在50MB/s左右,此时Raid5修复的时间长达16个小时,实际应用中,一般都在20个小时左右。随着当前的硬盘容量越来越大,3T硬盘已经成为主流,4T也已经普及,一些地方甚至用上了6T硬盘,这必将导致Raid的修复时间窗口越来越大,在这个窗口内,第二块盘损坏的概率也越来越大,再考虑到长时间高码率并发读写导致的硬盘故障率上升,存储设备数目庞大导致的维护响应时间延长,视频数据的可靠性越来越难以保证。

  3、数据传输能力逐渐出现瓶颈

  IPSAN方案中,单个监控点的视频录像一般都存储在一台阵列设备上。随着视频监控系统规模的扩大,各类用户增多,在加上视频码流的逐步提升以及上层图像综合应用的不断丰富,系统对于单台磁阵的吞吐能力也提出了更高的要求,特别是在应急联合作战的情况下,并发的视频录像调取、回放和实时调度的监控路数都快速增加,大量的业务可能都会集中到某一台存储设备上,面对这些日益增长的随机并发访问,单台设备的性能成为瓶颈。

  4、数据共享能力不能满足业务需求

  在目前大中型的IPSAN存储方案中,IPSAN设备虽然很多,但是彼此孤立,各自提供独立的存储空间给不同业务模块使用,其中的数据只能由挂载该存储空间的业务服务读写,其他非挂载该阵列设备的图像综合业务系统则很难直接访问到该存储空间中的特定数据,即使能通过网络文件方式访问,对于数目如此庞大的存储阵列,也需要业务系统进行数目庞大路径加载。因此,IPSAN的数据共享能力很差,从而也影响到了图像综合业务的发展。

  上述的问题在IPSAN存储系统不是很庞大的情况下,表现的并不明显,然而随着监控系统规模的逐步扩大,存储数量的不断增加,大中型视频监控系统不得不面对这些问题并探寻新的存储系统和解决方案。

  安防云存储诞生优势

  相较于上面所说的IPSAN无限扩容带来的不足,云存储的优势是显而易见的:

  ①服务性质更强

  云存储系统由多台云存储设备构成,但是提供统一的虚拟存储空间,用户和业务系统在使用云存储时只感知空间,不感知节点,不用关心存储空间由哪些存设备构成,这些设备放在何处。这使得用户与应用提供者,无需为繁琐的细节而烦恼,能够更加专注于自己的业务;对于租用云服务的用户、应用开发尚而言,更是直接省去了自建存储系统的费用与设备维护成本。

  ②维护更简单

  选择自建私有云模式的用户也不用台担心,云存储提供集群化管理模式,用户只需要登录到云存储系统的一个IP地址,就可以看到所有的存储设备状态、相应的磁盘状态以及整体存储空间的使用情况。系统还会针对不同的异常和故障问题及时的给出告警通知和日志记录,大大简化了管理员对存储系统的维护和管理工作。

  ③使用更安全

  云存储系统采用基于纠删码的分布式离散存储策略,需要存储的数据信息都被条带化、离散化,直接拆分成多个数据块,然后计算冗余校验数据块,再分散存储到不同的云存储设备中,数据的分散程度和冗余程度可以通过系统进行灵活设置。通过纠删码的冗余校验机制,系统提供数据高可靠性保护,可以允许系统坏多块硬盘,甚至多个存储设备节点而不会造成数据丢失,或者只影响和丢失很小部分的数据,其他数据的读取不受影响,写入则完全不受影响。此外,由于采用系统级离散存储,多个存储节点中都有相应的数据块和校验块,在硬盘损坏后恢复硬盘数据时由多个存储节点在空闲的空间内同时进行重构,要比传统的基于磁盘的Raid快得多,重构速度可以达到1个小时以内。

  ④读取、输入更流畅

  云存储系统采用纠删码离散存储策略,任何一段视频都被拆分成多个数据块分散并同时存储到多个存储节点中,因此,对该段视频的读取都由多台存储设备同时提供服务,避免了通过单台设备读取而造成的性能瓶颈。

  ⑤动态伸缩,扩容更方便

  传统存储,业务系统直接跟每一台存储设备打交道,每扩容一次,都要识别和挂载新的存储设备,并进行原有数据的迁移,从而导致业务长时间中断。而云存储采用存储虚拟化技术,业务系统只感知整体容量的变化,不关心具体设备,并且扩容后原有数据会在新的存储空间中自动重组和均衡,业务不受任何影响。

  ⑥数据共享无障碍

  传统存储接口封闭,一个存储系统只对接一套业务,视频监控、智能分析、图像侦查等每个业务都要建立自己的存储系统,互相之间数据共享效率十分低下。而云存储提供统一的存储空间、命名空间,不同的业务系统,对存储系统的访问是一致的,这些数据在权限控制下都可以通过统一的命名路径直接进行读取,从而提升了不同业务系统间数据信息的共享能力。

  上面说过,目前安防主流厂商均已推出自己的云存储系统,而科达的“天际“云存储,在具备以上所有云存储优势的同时,还有几点独特之处:

  ①支持BBU电池。天际云存储在每个存储节点都配备了BBU电池,当某个存储节点发生异常断电时,存储节点会及时保存缓存中的数据到磁盘,确保数据不会丢失,并同时向控制节点发送告警通知,由控制节点操作,“屏蔽”该存储节点,将设备断电时期的业务迁移至其他存储节点,从而避免数据丢失。

  ②支持仲裁模式,极端容错。天际云存储支持仲裁模式,当所有控制节点(元数据节点)全部异常时,启动仲裁模式,视频存储的业务不会中断,数据不会丢失;当控制节点恢复后,存储节点会自动同步异常期间数据信息至控制节点,恢复整个系统。

  ③存储内容更多样。与一般安防云存储只支持视频和图片存储不同,天际云存储不仅可存放视频、图片数据,还可以存放多种类型的一般的文件数据。

  ④更加标准、开放。天际云存储具备多种开放的、标准的业务数据访问接口:支持NFSS3FTP等通用接口及基于SDK的专业服务接口,同时还支持HDFS接口服务,可与业界的云平台大数据系统进行对接。