2014连续时间马尔科夫链.pdf
文本预览下载声明
随机过程
随机过程
Stochastic Processes
Stochastic Processes
李冬梅
李冬梅
Chapter 4 classical examples of
continuous markov chains
Here we deal with a family of random variabl
{ ( ),0X t }t ≤ ∞
-es where the possible values of
X t( ) are nonnegative integers.
定义 设随机过程{X (t),t ≥0 }，状态空间S {0,1,2,…}，
若对任意
0≤t t …t 及非负整数i ,i , …,i ，有
1 2 n+1 1 2 n+1
P {X (t ) i |X(t ) i , X (t ) i ,…, X (t ) i }
n+1 n+1 1 1 2 2 n n
P {X (t ) i |X(t ) i }，
n+1 n+1 n n
则称{X (t),t ≥0}为连续时间马尔可夫链。
转移概率 在s时刻处于状态i，经过时间t后转移到状态j的概率
p (s,t)= P {X (s+t) j|X (s) i}
ij
齐次转移概率(与起始时刻s无关，只与时间间隔t有关)
p (s,t) p (t)
ij ij
此时有转移概率矩阵P (t)=(p (t)) ，i,j∈S，t ≥0.
ij
具有齐次转移概率的连续时间马尔科夫链为齐次马尔科夫链
定理1 齐次马尔可夫过程的转移概率具有下列性质：
(1) p (t)≥0;
ij
p( ) t 1;
(2) ∑ ij
j S ∈
(3)
p t ( s ) p t ( p) s=+(ij ) ∑ ik kj
k S ∈
证 由概率的定义，(1)(2)显然成立，下证(3)
p t s P X t s j X i + +
( ) { ( ) | (0) ij }
P X t s j X t k X+ i
{ ( ) , ( ) | (0)
显示全部