随着平安城市等工程的推进,监控摄像头已经遍布大街小巷,这为大多数案件留下了影像资料,给警方破案带来了很大的便利。但是,有了相关视频不等于就找到了目标信息,查找视频、分析视频的工作常常会耗用警方大量的时间和人力。能否在海量视频中更方便、更省力地查找到相关信息呢?现在,随着安防智能化需求越来越强烈,视频检索技术也得以快速发展。本文将深入地为大家解读视频检索技术。
视频检索技术的发展起源
视频检索技术起源于互联网。互联网的主流检索方式是基于文本索引,这种方式已经是当今最成熟的信息检索技术。各大搜索引擎如Google、Baidu、Yahoo、Bing等都是以此技术为基础。随着互联网的不断发展,互联网上的内容已经从以前的纯文本发展到现在各式各样的多媒体展现形式,如图片、音频以及视频。如今如此丰富的数据形式对检索方式提出了新的挑战,传统的纯文本检索已经不再能满足人们的检索需求。在此诉求之下,基于图像的检索方式应运而生。区别于文字信息检索,图像视频检索是建立在对图像视频内容分析的基础之上的。该技术从1992年被首次提出,到现在已经20年。如今这项技术已经取得了比较成熟的应用。
基于内容的视频检索技术的基本原理
基于内容的视频检索技术是针对音视频这类非结构化数据,使用了视频分割、自动数字化、语音识别、镜头检测、关键帧抽取、内容自动关联、视频结构化等技术,以图像处理、模式识别、计算机视觉、图像理解等领域的知识为基础,从认知科学、人工智能、数据库管理系统及人机交互、信息检索等领域引入新的媒体数据表示和数据模型,从而设计出可靠、有效的检索算法、系统结构以及友好的人机界面。
视频是非结构化数据,视频分析使用了自动数字化、视频分割、镜头检测、关键帧抽取、语音识别、视频结构化、自动内容关联、计算机视觉、模式识别、图像理解等领域的研究成果。
视频检索可以分为四个层次结构:视频、场景、镜头、图像帧。由于一个镜头内的相邻帧变化很小,他们之间的特征差值基本保持在一定的阀值范围内。但是在镜头突然变化时,突然变化的这个时间点上相邻两帧变化很大,如果差值超过了一定范围的阀值,就会出现一个分割界限。关键帧则是反映该镜头中主要内容信息的图像帧。分析每个镜头并提取每个镜头的关键帧,然后利用关键帧把每个镜头简洁的表达出来。确定关键真的数量是提取关键帧中的一个重要问题,可以对镜头中每帧的差异进行统计,求出防长,用方差来衡量镜头内容的复杂程度和差异程度。方差越大,需要提取的关键帧就越多,反之,则越少。
基于内容进行的视频检索有几个特点:
1、视频检索是直接从媒体内容中提取信息特征;
2、基于内容的检索是近似匹配,这与基于文本的数据库检索的精确匹配有明显的差异;
3、视频动态特征的提取和建立索引由计算机自动实现,避免了人工描述的主观性,也大大减少了工作量。
4、根据媒体特征进行相似度匹配的指标有:轮廓、形状、纹理、颜色、动态、空间约束、概念、描述结构以及其他更细节化的图像信息。
视频检索技术的发展现状
目前,在国内外已研发出了多个基于内容的视频检索系统。
1、随着视频检索技术越来越受青睐,国内市场上包括合肥博微安全电子科技有限公司在内的多个智能监控产品供应商都不仅研发出视频浓缩、视频分类检索产品,而且还提供视频监控整体解决方案,包括监控管理平台、智能视频监控网络云计算平台、图像信息核查录入系统。
2、QBIC系统:QBIC(QueryByImageContent)是由IBMAlmaden研究中心开发的,是"基于内容"检索系统的典型代表。QBIC系统允许使用例子图像、用户构建的草图和图画及其选择的颜色和纹理模式、以及镜头和目标运动等图形信息,对大型图像和视频数据库进行查询。视频方面主要利用了颜色、纹理、形状、摄像机和对象运动来描述内容。
3、VisualSeek系统:VisualSeek是美国哥伦比亚大学电子工程系与电信研究中心图像和高级电视实验室共同研究的、一种在互联网上使用的"基于内容"的检索系统。它实现了互联网上的"基于内容"的图像/视频检索系统,提供了一套供人们在Web上搜索和检索图像及视频的工具。
4、VideoQ系统:VideoQ是哥伦比亚大学研究的一个项目,它扩充了传统的关键字和主题导航的查询方法,允许用户使用视觉特征和时空关系来检索视频。它有以下几个特征:集成文本和视觉搜索方法;自动的视频对象分割和追踪;丰富的视觉特征库,包括颜色、纹理、形状和运动;通过WWW互联网交互查询和浏览。
5、TV-FI系统:TV-FI(TsinghuaVideoFindIt),是清华大学开发的视频节目管理系统。这个系统可以提供如下几个功能:视频数据入库、基于内容的浏览、检索等。TV-FI提供多种模式访问视频数据,包括基于关键字的查询、基于示例的查询、按视频结构进行浏览、以及按用户自己预先定义的类别进行浏览。
随着这几个系统的诞生,视频检索技术也呈现出越来越成熟的趋势,并将在智能安防的发展中发挥重要的作用。