会计学第四章马尔科夫链马尔科夫简介(jiǎnjiè)若表示质点在时刻(shíkè)n所处的位置，分析它的概率特性。直观地：把无记忆性的随机(suíjī)过程，叫马尔科夫过程定义(dìngyì)2．齐次马氏链若表示质点在时刻n所处的位置，求一步(yībù)转移概率。例2．带有反射壁的随机(suíjī)游动p例3．一个圆周上共有N格（按顺时针排列(páiliè)），一个质点在该圆周上作随机游动，移动的规则是：质点总是以概率p顺时针游动一格，以概率逆时针游动一格。试求转移概率矩阵。4．一个质点在全直线(zhíxiàn)的整数点上作随机游动，移动的规则是：以概率p从i移到i-1，以概率q从i移到i+1，以概率r停留在i，且，试求转移概率矩阵。5．设袋中有a个球，球为黑色的或白色(báisè)的，今随机地从袋中取一个球，然后放回一个不同颜色的球。若在袋里有k个白球，则称系统处于状态k，试用马尔可夫链描述这个模型（称为爱伦菲斯特模型），并求转移概率矩阵。练习题．扔一颗色子，若前n次扔出的点数的最大值为j，就说试问(shìwèn)是否为马氏链？求一步转移概率矩阵。/注解（2）二步转移概率(gàilǜ)矩阵（3）分析(fēnxī)考虑质点(zhìdiǎn)从j出发移动一步后的情况于是(yúshì)当故用同样(tóngyàng)的方法可以求得乙先输光的概率例3排队(páiduì)问题解所以(suǒyǐ)转移矩阵为五．绝对(juéduì)概率定理4.3马尔科夫链的有限(yǒuxiàn)维分布：练习(liànxí)：马氏链的状态空间I={1，2，3}，初始概率为例4解所以9月份(yuèfèn)市场占有率分布为第二节马尔可夫链的状态(zhuàngtài)分类定理(dìnglǐ)1说明(shuōmíng)吸收(xīshōu)态例1例2二、首达时间和状态(zhuàngtài)分类自状态i出发，经过(jīngguò)n步首次到达状态j的概率说明(shuōmíng)3．常返态与瞬时(shùnshí)态4．状态(zhuàngtài)空间的分解5．正常(zhèngcháng)返态与零常返态定理(dìnglǐ)9用极限判断状态类型的准则例3于是(yúshì)状态1是常返的。三、状态(zhuàngtài)的周期与遍历例4因此(yīncǐ)只需考虑状态0是否正常返即可。1/3可讨论(tǎolùn)状态1状态(zhuàngtài)1是常返态1、遍历性其满足(mǎnzú)定理(dìnglǐ)1定理(dìnglǐ)2例1所以(suǒyǐ)(1)求马氏链{，}的转移(zhuǎnyí)概率矩阵；解由状态(zhuàngtài)传递图也可以利用(lìyòng)定理1证明遍历性解之得（4）例3解所以9月份(yuèfèn)市场占有率分布为（4）由于(yóuyú)该链不可约、非周期、状态有限正常返的，所以是遍历的。例4(书中69页例4.18）的平稳(píngwěn)分布得感谢您的观看(guānkàn)！内容(nèiróng)总结