跨媒体检索技术.ppt

* 跨媒体检索技术 摘要 摘要当前多媒体信息检索技术正从基于内容特征相似性的单一媒体检索发展到基于多种媒体综合检索,实现跨媒体信息检索提出了多种跨媒体信息检索的系统结构,在分析各种媒体信息检索的基础上,设计并实现跨媒体搜索引擎及其查询分解策略和检索结果融合方法等。 关键词：多媒体；跨媒体；信息检索；检索机制 跨媒体检索技术 第一章 绪论 在数字信息时代，人们对信息的需求表现出前所未有的强烈。单一形式的传播媒介不能满足受众的需求时，跨媒体传播便应运而生了。由于新技术（尤其是网络技术）的迅速发展也为跨媒体传播提供了必要的技术保障。 随着媒体每时每刻渗入到人们生活每个角落，人类从来没有感觉到媒介技术的力量如此巨大，以至于它能极大地改变和影响着现代人的生活，各种媒体为了寻求更好的生存环境和发展它们必定之间会合作、共生、互动与协调，这正是跨媒体传播的市场动因。 传媒一体化与合作化倾向正在成为历史潮流。跨媒体传播只是这种一体化与合作化的外部表象。许多传媒巨子不仅插手各种传播领域，也将传播范围覆盖到全世界。澳大利亚的默多克新闻集团、美国的CNN（美国有线电视新闻广播公司），英国的BBC等都是世界上传媒领域的大型“航空母舰”。在跨媒体传播方面，它们是最早的实践者，也是最大的受益者。 由于跨媒体的业务不断地扩张，基于跨媒体检索的方法也越来越多，本文着重介绍基于内容相关性的跨媒体检索方法。 第二章 一种基于内容相关性的跨媒体检索方法 跨媒体信息检索系统结构跨媒体是在多媒体的基础上,利用各种媒体的形式和特征,对相同或相关的信息用不同的媒体表达形式进行处理,由此而产生存储、检索和交换等活动.在跨媒体信息环境下,用户提交一种媒体对象作为查询示例,检索系统不但可以返回相同种类的相似对象,而且还能返回不同种类的其他媒体对象,如利用图像示例检索语义相关的音频或视频片段等。 跨媒体信息检索系统需要最大限度地挖掘不同媒体之间相互表达、相互补充的语义关联性和协同效应,通过智能推理重构和新生知识,构建有效存储、管理和检索跨媒体信息的模型和系统.跨媒体信息检索的系统结构如图1所示,它包括跨媒体搜索引擎、跨媒体综合处理、数据存储和用户接口等模块。 2.1 相关性介绍 相同语义、不同模态的媒体数据在底层特征上具有潜在相关性,例如,“松鼠”图像的视觉特征和“松鼠”音频的听觉特征在统计意义上存在一定相互关联。采用典型相关分析(Canonical Correlation Analysis CCA)方法挖掘这种不同模态之间的典型相关性。 两个变量场与之间的相关性定义如下:设有个样本、个变量组成的变量场,记为,另有个样本、个变量组成的变量场,以最大限度地提取与之间相关性的主要特征为准则,从中提取组合变量,从中提取组合变量,如下所示: (1) 其中, ,为空间特征向量,又称为典型变量。按式(1)把具有较多个变量的变量场与之间的相关化为较少组合变量与间的相关,通过,,的数值分布来确定与的空间相关分布形式, 而,的数值大小则表示了所对应变量的重要程度。于是问题归结为如何求解典型变量,。定义相关系数为,在式(3)的约束下,使相关系数最优化 (2) (3) 其中式(2)的表示和构成的协方差矩阵。结合式(2)和(3),使用拉格朗日乘子法可以得到,即将最优化问题转换为形如的特征根问题,并进一步根据式(1)得到最小变量组合，以最大限度地揭示,之间的相关性。 2.2 同构子空间的映射 给定多个语义类别的图像和音频作为训练数据,设已知语义类别的个数为,未知每幅图像和每段音频例子与语义类别之间的所属关系,可以采用如下所示的半监督式相关性保持映射方法构建同时容纳图像和音频对象的同构子空间。 半监督式相关性保持映射。 1、对每个语义类别,随机选择一些图像和音频进行语义标注； 2、分别求出,聚类质心,； 3、分别以,为初始质心对图像数据集和音频数据集进K-Means聚类； 4、聚类结果中与初始聚类质心划分到相同类别的图像被赋予与相同的语义； 5、聚类结果中与初始聚类质心划分到相同类别的音频被赋予与相同的语义； 6、对每个语义类别中所有图像和音频数据提取视觉特征矩阵X和听觉特征矩阵Y,计算X,Y之间的典型变量,以此为基向量映射得到低维子空间。 上述方法在只对少量图像和音频数据进行语义 标注的