基于视差信息的3D视频后处理的评估与改进-模式识别与智能系统专业论文.docx

摘要 摘要 I I 摘 要 随着人们对娱乐影音的体验要求不断提高以及 3D 电影的面市，3D 视频逐 渐成为当今计算机视觉和多媒体领域的新兴研究热点。由于 3D 视频较传统的 2D 视频增加了“景深”这一属性，因此针对 3D 视频的质量评估标准和处理方法与 2D 视频的情况有较大的不同。本文主要研究 3D 视频的后处理及其评估问题， 提出了一种基于视差信息的 3D 视频客观评估方案，并在传统 2D 后处理方法的 基础上，通过融入视差信息，提出了一种更适合于 3D 视频后处理的滤波方法， 取得了不错的效果。 由于立体摄像头的放置不可能满足两个摄像头光轴之间绝对平行的条件，因 此实拍图像对的对应扫描行之间一般并非是完全对准的，这不仅可能给观看者带 来视觉上的不适，也给视差信息的求取工作带来了一定的难度。为了简化立体匹 配问题并给出较好的解决方案，对立体图对进行校正使对应的扫描行保持一致是 一种较好的预处理方案。通过对摄像头进行标定虽然能取得较好的立体校正结 果，但是标定过程一般比较繁琐，且标定结果受摄像头内部参数和摄像头间相对 位姿变化的影响较大。不仅如此，现实中有很多 3D 视频并没有现成的标定参数 可以利用。因此，研究未标定的图像校正问题具有非常重要的现实意义。在上述 背景下，本文在第二章重点研究了此类图像校正问题，提出了适用于未标定立体 图对的图像校正方法。实验结果表明，该方法能获得较好的处理结果，校正后的 立体图对基本上可以满足后续立体匹配步骤的要求。 为了了获得输入 3D 视频的视差信息，对校正后的图像对进行立体匹配时， 采用了基于区域的立体匹配方法以获得稠密的场景视差图。考虑到拍摄 3D 视频 时其摄像头多为会聚放置，因此，为了更好地获取感兴趣区域的深度信息，本文 在第三章对会聚放置模式下的匹配模型进行了分析，并给出了一种基于图像 MeanShift 分割结果进行视差求取和优化的立体匹配算法。首先计算立体图对的 初始视差，然后选取 GCP（Ground Control Point）进行种子点生长，接着采用平 面模型按区域对视差进行拟合，最后采用 BP 置信传播算法对视差结果进行全局 优化以获得高质量的稠密视差图。为了减少立体匹配算法的运行时间以满足实际 系统的应用需求，本文还研究了基于 GPU 的立体匹配算法的计算加速问题，取 得了较满意的效果。 在后续的第四章中，本文对 3D 视频的评估问题进行了讨论。首先将传统的 2D 视频后处理方法施加于压缩后的低分辨率 3D 视频并对其视觉效果进行了主 客观评估。接着利用所获得的 3D 视频的视差信息提出了一种基于视差信息的 3D II II 视频后处理改进算法，在消除图像块效应和减少深度感损失方面取得了较好的平 衡。实验结果表明，所提出的算法在物体的 3D 边缘处具有更好的处理效果。 最后，在第五章对全文工作进行了简短的回顾和展望。值得指出的是，本文 基于 3D 视频后处理的改进算法需要获取物体边缘较为准确的视差信息。因此， 如何从 3D 视频中得到准确的边缘视差信息将是今后一个重要的研究课题。 关键词：3D 视频、图像校正、立体匹配、视频后处理 Abstract Abstract PAGE PAGE IV ABSTRACT With the increasing demand of people’s entertainment and the increasing 3D movies on the market, 3D video has gradually become a burgeoning research hotspot in the field of computer vision and multimedia. Because of the added property of ‘depth’ in 3D video compared with traditional 2D video, the evaluation and processing of 3D video should has some difference with 2D video’s. I am focusing on the post-processing and evaluation of 3D video and have proposed a method based on the disparity infomation to evaluate the quality of 3D video.In the end,I also proposed a new post-processing algorithm based on the traditional 2D post-p