信息论第一章 绪论.ppt

信道信源译码器编码器信宿噪声通信系统模型信号信号加噪声消息消息二.信息论的通信系统模型概括地说：信源是在发送载荷着信息的消息；而消息又要变换成适合信道传输的信号；收端则是从所收到的信号中恢复出消息；至于接收者能否得到信息，这要看所收到的消息——随机事件所包含的不确定度是否减少来决定。如前面所述，Shannon信息论的建立是从研究通信系统开始的，并首先建立了通信系统模型。由于技术发展水平的限制，当时的通信基本限制在点对点的通信，所以这种通信系统模型是指“从一个地方向另一个地方传送信息的系统”。例如，电话、电报、电视、无线通信、光通信等。而存储系统在某种意义上也可看成从现在向将来发送信息的通信系统。例如，磁盘或光盘驱动器、磁带记录器、视频播放器等。二.信息论的通信系统模型二.信息论中系统模型的功能与作用信源：产生消息和消息序列的源泉，亦称消息集合(messageset)。广义的看信源有三大类：(1).自然信源(Naturalsource);包括物理、化学、天体、生物等。(2).社会信源(Socialsource);包括管理、金融、商情及统计调查报告等。(3).知识源(Knowledgesource);包括古今中外记录下的知识和专家经验等。1.信源(informationsource)信源是信息的来源，其功能是直接产生可能包含信息的消息。按输出符号的取值分类：离散信源和连续信源：连续信源又分为：离散时间连续信源；波形信源或模拟信源。二.信息论中系统模型的功能与作用 按输出符号之间的依赖关系分类：无记忆信源信源输出符号的概率与以前输出的符号无关；有记忆信源信源输出符号的概率与以前输出的符号有关；核心问题：信源的消息中所包含的信息量以及信息如何量度。二.信息论中系统模型的功能与作用2.编码器(Encoder)为了克服时间、空间的限制,对消息加工处理使其变换成适合传输的信号,这种变换设备就是编码器。信源编码器(sourceencoder)信道编码器(channelencoder)调制器(modulator)信道编码器信源编码器调制器符号符号信号消息二.信息论中系统模型的功能与作用各部分的主要功能:信源编码器的功能是将信源消息变成符号，目的是提高传输有效性，也就是压缩每个信源符号传输所需代码（通常为二进制代码）的数目（对二进制代码称比特数）。例如，一个信源含4个符号{a,b,c,d}，概率分别为1/2，1/4，1/8，1/8。如果不采用信源编码，每个信源符号至少需要用2个二进制代码传输。如果采用信源编码，分别将a,b,c,d编码成为：0，10，110，111，那么平均每信源符号只需1.75个二进制代码传输。可见，采用合适的信源编码确实能通过压缩码率提高传输有效性。所以，信源编码也称信源压缩编码。二.信息论中系统模型的功能与作用信道编码器给信源编码符号增加冗余符号，目的是提高传输可靠性。信源编码输出直接传送，不能保证传输可靠性。利用信道编码对信源编码器的输出符号增加一些冗余符号，并让这些符号满足一定的数学规律，使传输具有纠错或检错能力。因为出现传输错误就会破坏这种数学规律。在接收端就会发现错误。例如，最简单的奇偶纠错，将信源编码输出的每个码组的尾补一个1或0，使得整个码组“1”的个数为奇或偶（或模二加为1或0）。当传输发生奇数差错，打乱了“1”数目的奇偶性，就可以检测出错误。这是最简单的检错方式，而实际的信道编码技术要复杂得多。二.信息论中系统模型的功能与作用增加冗余符号提高传输可靠性（图中，有阴影的点表示码字）二.信息论中系统模型的功能与作用图中:（a）4个消息用4个2维矢量传送，没有冗余符号。如果出现任何差错都会使传送的码字变成另一个码字，所以无检错能力；（b）在（a）的基础上每个码字增加一个校验符号，构成奇校验，4个消息用4个3维矢量传送。如果出现任何奇数差错都会使传送的码字变成不是码字的3维矢量，这样就能检测出错误，但不能纠正错误；（c）用2个汉明距离为3的3维矢量传送2个消息。如果出现一个错误，可以根据接收矢量和码字汉明距离的大小判决是哪个消息被传输，因此可以纠1个错误。二.信息论中系统