多符号离散信源.ppt

2.2 多符号离散信源 2.2.1 多符号离散信源 2.2.2 离散平稳无记忆信源 2.2.3 离散平稳有记忆信源 2.2.4 马尔可夫信源 2.2.5 信源冗余度及信息变差 2.2.1 多符号离散信源 (1) 多符号离散信源 (2) 随机矢量/随机变量序列 (3) 多符号离散平稳信源 (1) 多符号离散信源 实际的信源输出的消息是时间或空间上离散的一系列随机变量。这类信源每次输出的不是一个单个的符号，而是一个符号序列。在信源输出的序列中，每一位出现哪个符号都是随机的，而且一般前后符号的出现是有统计依赖关系的。这种信源称为多符号离散信源。 举例： (2) 随机矢量/随机变量序列 多符号离散信源可用随机矢量/随机变量序列描述，即 X=X1,X2,X3，… 信源在不同时刻的随机变量Xi和Xi+r的概率分布P(Xi)和P(Xi+r)一般来说是不相同的，即随机变量的统计特性随着时间的推移而有所变化。 (3) 多符号离散平稳信源 为了便于研究，假定随机矢量X中随机变量的各维联合概率分布均不随时间的推移变化。或者说，信源所发符号序列的概率分布与时间的起点无关，这种信源称为多符号离散平稳信源。 2.2.2 离散平稳无记忆信源 (1) 离散无记忆信源 (2) 离散平稳无记忆信源的熵 (3) 举例 (1) 离散无记忆信源 ① 基本概念 ② 序列的成组传送 ③ 离散无记忆信源的数学模型 ① 基本概念 离散无记忆信源：为了方便，假定随机变量序列的长度是有限的，如果信源输出的消息序列中符号之间是无相互依赖关系/统计独立，则称这类信源为离散平稳无记忆信源/离散平稳无记忆信源的扩展。 ② 序列的成组传送 把信源输出的序列看成是一组一组发出的。 例1：电报系统中，可以认为每二个二进制数字组成一组。这样信源输出的是由二个二进制数字组成的一组组符号。这时可以将它们等效看成一个新的信源，它由四个符号00，01，10，11组成，把该信源称为二进制无记忆信源的二次扩展。 例2：如果把每三个二进制数字组成一组，这样长度为3的二进制序列就有8种不同的序列，可等效成一个具有8个符号的信源，把它称为二进制无记忆信源的三次扩展信源。 二进制无记忆信源的N次扩展：把每N个二进制数字组成一组，则信源等效成一个具有2N个符号的新信源，把它称为二进制无记忆信源的N次扩展信源。 ③ 离散无记忆信源的数学模型 离散无记忆信源X={ x1,x2,…,xn}，对它的输出消息序列，可以用一组组长度为N的序列来表示它。这时它就等效成了一个新信源； 新信源输出的符号是N长的消息序列，用N维离散随机矢量来描述。 ai=(xi1,xi2,…,xiN) i=1,2, …,n 每个分量xik (k=1,2,…,N)都是随机变量，都取值于同一信源X，并且分量之间统计独立。 由随机矢量X组成的新信源称为离散无记忆信源X的N次扩展信源。用N重概率空间来描述它。 N次扩展信源的数学模型 单符号离散信源的数学模型为 信源X的N次扩展信源用XN表示，它是具有nN个符号的离散信源，其数学模型为 其中q=nN，每个符号ai是对应于某一个由N个xi组成的序列 ai的概率p(ai)是对应的N个xi组成的序列的概率 因为信源是无记忆的，所以消息序列 (2) 离散平稳无记忆信源的熵 因为是无记忆的/统计独立 若ai =(xi1, xi2, xi3,…, xiN) 则p(ai)=p(xi1)p(xi2)… p(xiN) 其中i1,i2,…,iN∈{1,2,…,n} 根据信息熵的定义，N次扩展信源的熵 可以证明：离散无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍，即 H(X)=H(XN)=NH(X) 证明：H(X)=H(XN)=NH(X) 设 ai是XN概率空间中的一个符号，对应于由N个xi组成的序列 ai =(xi1, xi2,…, xiN) 而 p(ai )=p(xi1) p(xi2)…p(xiN) i1,i2, …,iN∈{1,2, …,n} N次扩展信源的熵 求和号是对信源XN中所有nN个符号求和，所以求和号共有nN个。 这种求和号可以等效于N个求和号，其中的每一个又是对X中的n个符号求 和，所以 因此 上式共有N项，考察其中第一项 因为 所以 H(X)=H(XN)=H(X)+H(X)+…+H(X)=NH(X) (3) 举 例 有一离散无记忆信源 求这个离散无记忆信源的二