《信息论基础》信道与信道容量-教学课件(非AI生成).ppt
信源:输出一个概率空间。信道:接受一个概率空间并输出一个概率空间。信道与信道容量信道的直观概念:传输信息的通道。信息由概率空间中的事件携带,那么信道就是个传输概率空间的东西。1
2
3
二进制对称信道BSC0101输入,输出符号(事件)集{0,1}信道矩阵(转移概率矩阵)1-ppp1-p4
5
6
7
8
9
10
11
12
13
1111114
信道容量的概念15
信道容量的概念16
17
18
19
20
21
22
23
24
25
26
27
28
原理是以p(X)为未知数,求出p(Y),再求出H(Y),找H(Y)极值点要求偏导为0,联立偏导0的方程求出输入p(X)。拉格朗日乘子法适用用约束条件无法用于消元。这边约束条件为概率归一化,消元很轻松。29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60