马尔可夫预测讲解.ppt

第七章马尔可夫分析法 本章介绍马尔可夫决策中的几个重要概念，以及如何就市场占有率、期望利润等问题使用状态转移矩阵进行预测决策的步骤与方法。 第一节 马尔可夫决策过程 一、马尔可夫决策 1、概念：某事件的第n次试验经果决定于第n-1次试验的结果，且在向第n次结果的转移过程中存在一转移概率，同时通过这一转移概率，第n次试验结果可依据第n-1次结果推算出。一连串的这种转移过程的整体，称为马尔可夫链过程。 应用马尔可夫链以及概率矩阵的原理对随机事件未来变化趋势所进行的预测决策，称为马尔可夫决策。 随机变量和时间参数 连续型随机过程：随机变量和时间都是连续的； 离散型随机过程：随机变量是离散的，时间是连续的； 连续随机序列：随机变量是连续的，时间是离散的； 离散随机序列：随机变量和时间都是离散的； 2、马尔可夫链可以是连续的或离散的。马尔可夫过程的阶数是指系统转移至另一状态时，与系统前面的状态的关系。若只与前一状态有关，称一阶；若和前两状态有关，称为二阶。 3、马尔可夫方法的研究对象是一个动态系统的“状态”和“状态转移”。系统是指我们研究的事物。状态是指系统的在某一时刻的状况，是系统在某一时刻的变量，决定系统在某一时刻的行为，即状态。常用概率向量表示，称为状态概率向量。系统的状态概率向量一般表示为： K表示时间；N表示系统互不相容的状态个数； 4、状态转移，是系统从一种状态转变为另一种状态。描述动态系统从一个状态的变量值转变到另一个状态的变量值，就是系统的状态实现了转移。并且状态的转移完全是随机的。 二、马尔可夫链是马尔可夫过程的一种特殊情况 马尔可夫过程是指时间转移，状态转移的随机过程。马尔可夫链是马尔可夫过程的一种特殊情况，即马尔可夫链的时间参数取离散数值，其状态是有限的，只是可数个状态。把时间和状态作为离散的马尔可夫过程就是马尔可夫链。 三、转移概率和转移概率矩阵： 结论： 1、 一步转移概率与一步转移概率矩阵： 设系统的状态有N个，系统在时间T（M）时处于状态I，在下一个时间T（M+1）时转变为状态J的概率为P（IJ），我们称P（IJ）为一步转移概率矩阵。将这些P（IJ）依序排列，就构成一个矩阵称为一步转移概率矩阵，用P表示。 性质： 1）矩阵中每个元素P（IJ均为非负的，即 2）矩阵中每行元素相加其和为1，即 2、K步转移概率矩阵：系统的状态是随着时间的推移不断发生转移。如果系统的状态不只经过一次转移，而是经过多次转移，就必须有K步转移概率和K步转移概率矩阵。 结论： 即系统从状态I出发经过一步转移到状态M（M=1，2，N），然后再从状态M转移到J的概率的总和。一般对于K步转移概率矩阵有 可得到K步转移概率矩阵 由上述可以说明，K步转移概率是在以前转移的基础上再进行一次转移，所以K步转移概率矩阵是一步转移概率矩阵P的K次方。 K步转移概率矩阵的性质：  四、马尔可夫链预测模型： 设系统有N个互不相容的状态，系统的初始状态概率向量S(0)为 为处在状态i的初始概率，描述马尔可夫链分布情况仅仅取决于它的初始状态概率和转移概率。第K+1期的马尔可夫链预测模型为： 由概率性质得 马尔可夫链预测模型是利用目前的初始状态概率向量与转移概率矩阵，预测事物未来的状态。 第二节 马尔可夫链转移概率矩阵的估计 一、确定转移矩阵概率的方法： 1、主观概率法。通常是在缺乏历史统计资料或资料不全的情况下使用的。 2、统计估计法。根据所研究系统状态的历史统计数据来计算各种比例数或事件发生的频率，依此确定状态的转移概率。 二、有关的基本概念： 1、行列式： 2、矩阵的乘法：1）若 则有：A*B=C 2）A*B?B*A，矩阵的乘法不满足于交换率。A*X称为用X右乘A，X*A称为用X左乘A。 3、矩阵乘法性质：（AB）C=A（BC） （A+B）C=AC+BC C（A+B）=CA+CB K（AB）=K（A）B=A（KB） 例题：解题：有矩阵方程： X为二阶矩阵 则有 则 ， 解得： 4、矩阵的转置 矩阵的转置：M*N矩阵A的行与列分别互换，得到M*N矩阵，称为A的转置矩阵 ， 5、概率向量：一行向量，如果其中各元素非负，且总和为1，此行向量称为概率向量 如 6、概率矩阵： 若方阵 若其各行均为概率向量，则此方阵称为概率矩阵。如： 也称状态转移概率矩阵。性质：1）A、B均为概率矩阵，则C=A*B亦为概率矩阵。 2）A为概率矩阵， 是概率矩阵。 7、正规概率矩阵： 一概率矩阵P，若它的某次方