马尔科夫链例题(lìtí)整理若表示质点在时刻n所处的位置(wèizhi)，求一步转移概率。例2．带有反射壁的随机(suíjī)游动p例3．一个圆周上共有(ɡònɡyǒu)N格（按顺时针排列），一个质点在该圆周上作随机游动，移动的规则是：质点总是以概率p顺时针游动一格，以概率逆时针游动一格。试求转移概率矩阵。4．一个质点在全直线的整数点上作随机游动，移动的规则是：以概率(gàilǜ)p从i移到i-1，以概率(gàilǜ)q从i移到i+1，以概率(gàilǜ)r停留在i，且，试求转移概率(gàilǜ)矩阵。5．设袋中有a个球，球为黑色的或白色的，今随机地从袋中取一个球，然后放回一个不同颜色的球。若在袋里有k个白球，则称系统(xìtǒng)处于状态k，试用马尔可夫链描述这个模型（称为爱伦菲斯特模型），并求转移概率矩阵。练习题．扔一颗色子，若前n次扔出的点数的最大值为j，就说试问(shìwèn)是否为马氏链？求一步转移概率矩阵。/解（2）二步转移概率(gàilǜ)矩阵（3）分析(fēnxī)考虑质点从j出发移动一步(yībù)后的情况于是(yúshì)当故用同样(tóngyàng)的方法可以求得乙先输光的概率例3排队(páiduì)问题解所以转移(zhuǎnyí)矩阵为定理4.3马尔科夫链的有限(yǒuxiàn)维分布：练习：马氏链的状态(zhuàngtài)空间I={1，2，3}，初始概率为例4解所以9月份(yuèfèn)市场占有率分布为2/3例23．常返态与瞬时(shùnshí)态5．正常(zhèngcháng)返态与零常返态用极限(jíxiàn)判断状态类型的准则例3从图可知，此链的每一状态(zhuàngtài)都可到达另一状态(zhuàngtài)，即4个状态(zhuàngtài)都是相通的。三、状态(zhuàngtài)的周期与遍历例4从图可知(kězhī)，对任一状态都有，1/3可讨论(tǎolùn)状态1状态(zhuàngtài)1是常返态例1所以(suǒyǐ)例2解由状态(zhuàngtài)传递图也可以利用(lìyòng)定理1证明遍历性解之得（4）例3解所以9月份(yuèfèn)市场占有率分布为（4）由于(yóuyú)该链不可约、非周期、状态有限正常返的，所以是遍历的。例4(书中69页例4.18）的平稳(píngwěn)分布得内容(nèiróng)总结