(信息论、编码及应用)第3章离散信道及其信道容量.pptx

第3章离散信道及其信道容量;3.1单符号离散信道的数学模型

单符号离散信道是最简单的离散信道。这种信道容许输入一个离散随机变量X，相应输出一个离散随机变量Y，如图3-1所示。;离散信道数学模型的建立主要有以下三个方面：

(1)输入随机变量X的符号集为X：{a1，a2，…，ar}，即X可取r种不同的符号。

(2)输出随机变量Y的符号集为Y：{b1，b2，…，bs}，即Y可取s种不同的符号。

(3)信道的传递作用集中体现为随机噪声的干扰作用。

如果上述三个方面确定，则信道也就确定了，反之亦然。当P(bj|ai)=0时，表示在输入符号ai的前提下，输出端不可能出现符号bj。当P(bj|ai)=1时，表示在输入符号ai的前提下，输出端出现符号bj是一个必然事件。一般情况下，由于信道中随机噪声的干扰，当信道输入某一符号ai时，输出端出现哪个符号是不确定的。但有一点是可以肯定的，即一定输出Y：{b1，b2，…，bs}中的某个符号，而不是出现其它符号，亦即;;称矩阵[P(Y|X)]为前向信道矩阵。又因为矩阵中的元素均为概率，表示信道随机噪声的干扰作用，所以有时也称之为随机矩阵。我们还可以用图示法直观形象地表示信道的数学模型，如图3-2所示，图中箭头旁边的P(bj|ai)表示输入符号ai的前提下输出符号bj的条件概率。;;在解决了描述信道的数学模型之后，还要进一步讨论在信道的输入随机变量X的统计特性已知的情况下，对于给定信道来说，输入随机变量X和输出随机变量Y之间的统计关系。设信源空间为;在式(3-4)中，P(bj|ai)是信道的传递概率，它表示在信道输入符号ai的前提下，通过信道传输，信道输出符号bj的概率，常称之为前向概率，故[P(Y|X)]称为前向信道矩阵。而条件概率P(ai|bj)则是已知信道输出符号bj的前提下，信道输入符号ai的概率，有时称它为后向概率。P(ai)是信道输入符号ai的概率，称它为符号ai的先验概率，相应地，将P(ai|bj)称为输入符号ai的后验概率。

在已知信道输入随机变量X的先验概率分布P(ai)和信道矩阵[P(Y|X)]的情况下，可进一步求得联合概率P(aibj)。

(2)根据P(ai)和P(bj|ai)，得输出符号bj的概率P{Y=bi}=P(bj)为;得信宿空间为;;;(4)后向信道矩阵与前向信道矩阵的关系。将前向信道矩阵转置，并按式(3-7)计算转置后矩阵中的每一个元素P(ai|bj),便得到了后向矩阵，如下式所示:;3.2单符号的互信息量

信息流通的根本问题，是定量计算信宿收到信道输出的某一符号bj后，从bj中获取关于信源某一符号ai的信息量，如图3-4所示。;要解决这一问题，我们要重申并继续遵循信息理论的一个基本假设如下：;一般情况下，信道中总是存在着噪声的随机干扰。信源发出符号ai，在信道的输出端只能收到由于干扰作用引起的ai的某种变型bj。这时信宿收到bj后，推测信源发出符号ai的概率，由先验概率P(ai)变为后验概率P(ai|bj)。对于信宿来说，在收到bj前，对发ai的不定度是先验不定度I(ai);收到bj后，对发ai的不定度就转变为后验不定度:;其次，我们站在信道输入端的立场上来考察问题。对式(3-13)作恒等变换，得;式(3-14)给出这样的启示，如果我们站在信道的输入端观察问题，在输入端出现符号ai以前，输出端出现符号bj的先验概率P(bj)可由式(3-6)计算而得;当得知输入端出现符号ai后，计算输出端出现符号bj的概率就由先验概率P(bj)转变为后验概率P(bj|ai)。这样，观察者在得知输入端出现符号ai以前，对输出端出现符号bj的先验不定度为;同理得;最后，我们可以既不站在信道的输入端，也不站在信道的输出端，而是站在通信系统的总体立场上来考察问题。这时，在通信前，我们可认为输入随机变量X和输出随机变量Y之间统计独立，它们之间不存在任何联系，输入符号ai和输出符号bj出现的先验概率满足;后验不定度为;另一方面，因为P(aibj)、P(bj)和P(ai|bj)均可由已知的信源统计特性P(ai)和信道的传递特性P(bj|ai)决定，故得I(ai；bj)或I(bj；ai)由P(ai)和P(bj|ai)直接表示如下:;例3-1假设有一条电线上串联了8个灯泡x1，x2，x3，…，x8。这8个灯泡损坏的可能性是等概率的，现假设这8个灯泡中有一个也只有一个灯泡已损坏，从而导致了串联灯泡都不能点亮。在未检查之前，我们不知道哪个灯泡xi(i=1，2，…，8)已损坏，是不知的和不确定的。我们只有通过检查，用万用表去测量电路的断路情况，获得了足够的信息量之后，才能获得和确定是哪