专业技能实训专题报告样例V31..doc

实训专题报告 题 目：数字媒体信息采集与处理软件的设计与实现 摘 要 随着计算机及通讯技术的迅猛发展，人们对多媒体信息的需求由单纯的接收和读取转变为实时采集和处理。但是由于多媒体信息结构复杂且所携带的信息量巨大，想要实现信息的实时采集、传输和处理，就需要对其进行压缩编码。因此如何能够在实时获取多媒体信息的同时，对数据进行压缩和编码是课题研究的重点。 本文在参考现有音视频编码和视频处理技术的基础上，基于CCS开发平台，利用 MP3和H.264编码标准，在TMS320DM642 DSP芯片上实现了音视频信息的采集和编码。同时系统基于VC++6.0开发环境，通过MFC实现了多媒体信息处理子系统，并利用多线程技术实现了多媒体信息的多路采集。 对系统进行测试的结果表明，该系统基本实现了对音视频信息的实时采集功能，并能够对所采集的视频文件进行播放和简单处理，但系统所采集的视频图像质量有待提高。 关键词：多媒体信息处理；压缩；音视频编码  近年来，随着计算机和通信技术的飞速发展，人们对信息的需求不再满足于简单的文字和声音，而是逐步转向了多媒体领域。以音视频为主的数字媒体已经成为人们获取信息的主要来源[1]。 但是因为数字视频的数据量巨大的特点，导致未经压缩的数字媒体信息对通信系统中有限的存储空间和带宽提出了严峻的挑战。另一方面，人们对媒体信息的需求不再是单一目标的，而是逐步向多目标发展，即在同一时间可能需要实时获取来自多个媒体的信息，同时人们也希望对多媒体信息做分析和一些相应处理。对此，在技术上不仅需要对信息进行压缩，还需要对信息进行多路的采集以及对音视频的分析和处理。 基于以上背景，立足于开发一套采集数字媒体信息采集和处理的平台以实现对数字媒体信息的实时采集、压缩以及分析处理，开设了该课题以完成平台的基本搭建工作，完成其中信息压缩与采集、网络通信及多媒体信息处理等功能[1]。该系统为后续工作中音视频分析模块的加入搭建了平台，对多媒体信息处理与智能信息处理技术与方法的进一步研究，数据压缩与编码方法研究，基于内容的信息管理与使用方法研究，以及分布式信息处理系统软件设计与研究有着重要意义。 1 系统设计与算法分析 1.1 需求分析与系统总体设计 根据课题所在项目的要求，需要开发一套能够对多媒体数字信息进行多路实时采集，并能够进行分析和处理的平台。通过该平台可以对多媒体数字信息进行多路实时采集，并可以在信息采集过程中能够对音视频信息进行压缩编码。编码后的多媒体信息能够传输到计算机并以文件形式存储，并能够通过系统对采集的文件做相应的分析和处理，包括语音识别、情感分析以及视频剪辑处理等。其中视频剪辑部分要实现通过语音识别得到的字幕关联剪辑的功能，即通过选取一段字幕信息实现对应视频段的提取。同时系统还需要支持剪辑结果预览、字幕跟踪播放和查看所提取视频关键帧等功能。 基于以上需求分析，可以将数字媒体信息采集与处理软件在功能上分为四个部分，如图1.1所示。 第一部分是音视频采集与编码模块，负责多媒体信息采集和压缩编码以方便传输和后续处理。经过对各种编码标准优缺点的分析，为达到更好的编码效果和网络友善性，本文采用MP3和H.264标准分别对音视频进行编码，并在以DM642 DSP芯片为核心的信息采集板上通过嵌入式技术实现。 图1.1 系统结构图 第二部分是多媒体信息处理子系统，负责实现视频关联剪辑、预览和字幕跟踪播放等功能。子系统位于PC机，利用MFC框架在VC++6.0环境下实现。 另两部分分别为语音识别和情感分析模块，分别负责识别视频的语音并自动生成字幕，以及通过语调分析视频情感，形成情感分析图。这两部分将在将来的工作中加入到本课题搭建的平台中，故本文不做过多说明[2]。 考虑到模块之间需要相互交换数据，因此系统加入了网络通信模块进行连接。该模块位于采集板与PC机之间，由采集板发送信息，并由PC机进行接收。 1.2 音视频编码模块设计 该模块主要实现音视频的采集和编码功能。当得到输入的音频流和视频流后，模块分别取出等时间长度音视频数据进行编码。对音频数据利用MP3编码器进行压缩编码，并对视频数据通过调用H.264编码函数库进行压缩编码。最后将经过编码的数据存入数据包，准备由网络通信模块发送给PC机。 音视频的采集与编码均需要以帧为单位进行。由于每帧视频数据的时长为40ms，因此模块需要在该时间内完成音视频编码和发送数据包的工作，否则会产生丢帧现象。在对MP3编码器进行移植和优化的前提下，本文对音频和视频的编码采用串行设计，如图1.2所示。 模块首先对视频编码的参数进行初始化，然后分别采集相同个数的音频和视频数据，之后先对音频数据进行MP3编码，在对视频数据进行编码，将二者编码后的结果写