上海大学《随机过程》第六章习题及答案.docx

第三章习题1．甲乙两人进行某种比赛，设每局比赛中甲胜的概率为，乙胜的概率为，平局的概率为，其中，设每局比赛后，胜者得1分，负者得分，平局不记分，当两个人中有一个人得到2分时比赛结束，以表示比赛至第局时甲获得的分数，则是一齐冯马尔可夫链.（1）写出状态空间；（2）求一步转移概率矩阵；（3）求在甲获得1分的情况下，再赛2局甲胜的概率.解（1）的状态空间为（2）的一步转移概率矩阵为（3）因为两步转移概率矩阵为所以在甲获得1分的情况下，再赛2局甲胜的概率为2．设为相互独立的随机变量序列，则（1）是否为Markov链？（2）令，问是否为Markov链？解（1）由于因此，是马尔可夫链.（2）取，当时，是的函数，记为依次类推，为的函数，记为为的函数，记为由于相互独立，则其相应的函数也相互独立，从而因此是马尔可夫链.3设是相互独立的随机变量，且使得，如果，其中，就称在时刻产生了一个记录.若在时刻产生了一个记录，就称为记录值，以表示第个记录值.（1）证明，是Markov链，并求其转移概率；（2）以表示第个与第记录之间的时间，问是否是Markov链，若是，则计算其转移概率.证明：（a）根据题意有：，……满足 且故 故是一个马尔可夫链且（由于的独立性）（b）记为第个记录与第个记录之间的时间，是相互独立的随机变量，因为=（由于的独立性）故{，}是一个马尔可夫链令则故是一个马尔可夫链。4考虑一个具有状态的Markov链，其转移概率满足，其中，请找出为了使该Markov链正常返，所有的所应该满足的充要条件，并计算其在这种情况下的转移概率.解：根据题意知，要满足马尔可夫链为正常返约，当且仅当=0，1，2...有一组解0,根据 ，方程可重写为则因此从而，随机游动为正常返约的充要条件是5捕捉苍蝇的一只蜘蛛依循一个Markov链在位置1，2之间移动，其初始位置是1，转移矩阵为，未觉察到蜘蛛的苍蝇的初始位置是2，并依照转移矩阵为的Markov链移动，只要它们在同一个位置相遇，蜘蛛就会捉住苍蝇而结束捕捉.（1）证明：在捕捉的过程中，除非知道它结束的位置，否则都必须用三个状态的Markov链来描述，其中一个是吸收状态，表示结束捕捉，另外两个代表蜘蛛与苍蝇处在不同位置，对此求转移矩阵；（2）求在时刻蜘蛛与苍蝇都处在各自初始位置的概率；（3）求捕捉过程的平均持续时间.证明：捕捉过程中，除非知道它结束时的位置，可用三个状态的马尔可夫链来描述，其中一个是吸收状态代表捕捉结束，而另外的两个代表植蜘蛛与苍蝇处在不同的位置，对此链求转移概率矩阵。求在时刻n蜘蛛与苍蝇都处于各自的出事位置的概率，捕捉过程的平均持续时间是多少？解：（1）根据题意可知，在捕捉过程中共有三个状态，我们分别令为1，2，3则1={蜘蛛为1，苍蝇在2} 2={蜘蛛为2，苍蝇在1} 3={蜘蛛，苍蝇在同一位置}其中状态3也代表着捕捉结束，则转移概率矩阵为（2）分别设，代表时刻n蜘蛛和苍蝇的位置。令则有=+=0.28+0.18同理=0.28+0.18 且=0.28,=0.18(3)苍蝇被吃掉的概率为={蜘蛛不动，苍蝇动}＋{苍蝇不动，蜘蛛动}故＝0.7*0.6+0.4*0.3=0.54故捕捉过程的平均时间为1.856在一个分枝过程中，每个个体的后代个数服从参数为（2，）的二项分布，从一个个体开始，计算：（1）灭绝概率；（2）到第三代群体灭绝的概率；（3）若开始时不是一个个体，初始的群体总数是一个随机变量，服从均值为的泊松分布，证明：此时对于，灭绝概率为.解 （a）设={灭绝的概率}= 故有解得因为，根据定理4.5.1可知，若0.5 时 ，=10.5 时 ，= 即 （b）Ⅱ={第三代群体首次灭绝}={第三代群体首次灭绝|} =Ⅱj 故Ⅱ=Ⅱ2+2Ⅱ （c）Ⅱ*={群体灭绝}={群体灭绝|} ={群体灭绝|} ===7一辆出租车流动在三个位置之间，当它到达位置1时，然后等可能的去位置2或3.当它到达位置2时，将以概率1/3到位置1，以概率2/3到位置3.但由位置3总是开往位置1.在位置和位置之间的平均时间是，且.求（1）此出租车最近停的位置是的（极限）概率是多少？；（2）此出租车朝位置2开的（极限）概率是多少？（3）有多少比例的时间此出租车从位置2开到位置3?注意，以上均假定出租车到达一个位置后立即开出.解：根据题意有=1/2，=1/2，=1/3，=2/3，=0==20，=30，=30根据解得此出租汽车朝位置2开的极限概率是，为3/148 转移矩阵称为双随机的，若对于一切，，设一个具有双随机转移矩阵的Markov链，有个状态，且是遍历的，求它的极限概率.解：由于Markov链是状态有限的遍历链，极限分布是唯一的平稳分布