视频检索技术—从内容到上下文.pdf

第 9 卷第 5 期 信息技术快报 Vol.9 No.5 Information Technology Letter Sep. 2011 视频检索技术—从内容到上下文 曹娟 张勇东 李锦涛 摘要：随着视频采集设备的普及以及Web2.0 技术的出现，互联网上的视频数据迅猛增长。如何从大规模视 频数据中检索到用户需要的视频，正是视频检索技术所要解决的问题。本文对视频检索技术进行了综述， 主要对基于内容的视频拷贝检测技术，基于概念的语义视频检索技术，以及基于上下文信息的网络视频分 析技术进行了介绍。同时，本文也简要介绍了本课题组在视频拷贝检测，语义视频检测，以及网络视频分 析方面的研究进展。 关键词：视觉特征 上下文信息 拷贝检测 视频检索 视频话题发现和推荐 1 1 引言 v 7 0 随着多媒体技术和网络技术的发展，视频已经成为人们日常生活中发布信息和获取信息 2 的主要载体之一。2009 年 9 月，著名视频分享网站 YouTube 每分钟大约有 20 小时的新视频 0 0 数据上传；根据中国互联网络信息中心报告，2010 年中国网络视频用户规模达到 2.84 亿人， . 占网民总数的62.1% 。面对网络视频及其用户的爆炸式增长，迫切需要高效的视频检索技术， 3 0 帮助人们在大规模网络视频数据中快速、准确地找到所需要的视频内容。 7 1 0 视频检索技术在不同层 2 次具有不同的表现形式。如 : v 下图所示，针对技术人员来 i X 说，视频检索技术包含视频 a 结构化、特征提取、高维索 n 引、 相似度计算、检索结果 i h 排序等核心模块；针对服务 c 提供商来说，视频检索技术 根据应用模式不同可分为通 用视频检索、特定视频检索 以及视频主动推荐；而针对 图 1. 视频检索技术在不同层次的表现形式 终端用户来说，视频检索技 术根据查询输入的不同可分为基于文本关键词、中层语义概念和视频样例的检索，以及不需 要查询的视频主动推荐技术。 现有的商业化视频搜索引擎，如百度，Google Video，Blinkx 等主要依赖文本检索技术， 通过从视频元数据中提取视频标题、描述、标签、字幕文本、语音识别文本等信息进行基于 文本的视频检索，用户查询入口为文本关键词。这类方法在视频文本缺失（如家庭视频等）， 以及视频文本不能准确描述视频内容（如文本标签错误）时，检索性能大大降低。 因此，从 90 年代开始，基于内容的视频检索(Content-Based Video Retrieval, CBVR)技术 应运而生[1][2][3] 。这类方法直接从视频本身提取底层视觉特征进行索引和相似度计算，支持 用户基于示例的检索(Example-based retrieval)和基于草图的检索(Sketch-based retrieval) 。目 11 视频检索技术—从内容到上下文 前，基于内容的视频检索方法还无法应用于通用视频检索，仅在一些小型的实验系统中使用， 如：IBM 开发的 QBIC 检索系统[4]、