3.4 连续信源的数学模型及其信息测度.pdf

连续信源的数学

模型及其测度

Review

离散信源

信源的数学模型

–随机变量、随机序列

信源的信息测度

–单符号离散信源：H(X)

–离散无记忆信源：H∞(X)=H(X)=H(X)

L

–离散有记忆信源：H(X)≤H(X)≤H(X)

∞L

连续信源的数学模型

输出消息取值上连续的信源，如语音，电视信源等，对应

的数学工具为连续型随机变量或随机过程。

连续信源输出的状态概率用概率密度来表示。

X(a,b)





p(x)p(x)



b

并满足∫ap(x)dx1

连续信源的信息测度

考虑一个定义在在[a,b]区间的连续信源输出X，如下图

p(x)

p(xi)△

a0xibx

把X的取值区间分割为n个小区间，区间宽度为∆=(b-a)/n，

根据概率分布与概率密度函数的关系可得，X取值为x的概

i

率为p(x).∆，于是离散信源Xn的概率源空间为

i

xx…X

12n

p(x)△p(x)△…p(x)△

12n

xx…x

12n

p(x)△p(x)△…p(x)△

12n

nb

其中∑p(x)∆p(x)dx1

i∫a

i1

按离散信源熵定义

n