北大随机过程课件：第_2_章_第_2_讲_马尔可夫链.pdf
文本预览下载声明
马尔可夫链
1．马尔可夫链
1.1 概述
马尔可夫链是时间离散，状态离散，具有马尔可夫性的过程
定义，马尔可夫链
设有一个离散时间、离散状态的随机过程{ }
ξ(n), n 0,1,2 L ，且ξ(n) 满足条件，
{ }
P ξ(n +1) j /ξ(0) i ,ξ(1) i , Lξ(n) i
0 1 n
{ }
P ξ(n +1) j /ξ(n) in
则称这类随机过程是马尔可夫链。它具有无后效性。
性质1，马尔可夫链的有限维概率密度可以用转移概率来表示，即
P ξ(0) i ,ξ(1) i , Lξ(n) i ,ξ(n +1) j
{ 0 1 n }
P ξ(n =+1) j /ξ(0) i ,ξ(1) i , Lξ(n) i
{ 0 1 n }
P ξ(0) i ,ξ(1) i , Lξ(n) i
{ 0 1 n }
P ξ(n =+1) j /ξ(n) i ⋅P ξ(0) i ,ξ(1) i , Lξ(n) i
{ n } { 0 1 n }
L
P ξ(n =+1) j /ξ(n) i ⋅P ξ(n) i /ξ(n =−1) i L
{ n } { n n−1}
P ξ(1) i /ξ(0) i ⋅P ξ(0) i
{ 1 0 } { 0 }
性质2 ，马尔可夫链的有限维条件概率密度可以用转移概率来表示，即
P ξ(1) i , Lξ(n) i ,ξ(n +1) j /ξ(0) i
{ 1 n 0 }
P ξ(0) i ,ξ(1) i , Lξ(n ) i ,ξ(n +1) j / P ξ(0) i
{ 0 1 n } { 0 }
P ξ(n =+1) j /ξ(n) i ⋅P ξ(n ) i /ξ(n =−1) i L
{ n } { n n−1}
P ξ(1) i /ξ(0) i ⋅P ξ(0) i / P ξ(0) i
{ 1 0 } { 0 } { 0 }
显示全部