马尔可夫过程的四种(sìzhǒnꞬ)类型1马尔可夫链的概念(gàiniàn)及转移概率马氏性（无后效性）转移(zhuǎnyí)概率齐次马尔可夫链一步转移概率(gàilǜ)矩阵n步转移(zhuǎnyí)概率n步转移概率(gàilǜ)的性质初始(chūshǐ)概率和绝对概率绝对概率(gàilǜ)pj(n)的性质马尔可夫链的几个简单(jiǎndān)例子[例2]具有吸收(xīshōu)壁和反射壁的随机游动描述(miáoshù)马氏链的三种方式[例3]设{Xn,nT}是一个马尔可夫链，其状态空间I={a,b,c}，转移矩阵为解：2马尔可夫链的状态(zhuàngtài)分类（1）状态(zhuàngtài)的周期性（2）状态(zhuàngtài)的常返性常返性的定义(dìngyì)与的关系(guānxì)周期(zhōuqī)的等价定义常返性的判别(pànbié)(根据pij(n))马氏链状态(zhuàngtài)分类图状态分类(fēnlèi)的判别（3）可达关系(guānxì)与互通关系(guānxì)[例4]设马尔可夫链的状态(zhuàngtài)空间I={0,1,2,…}，其转移概率为3状态(zhuàngtài)空间的分解闭集的充要条件[例5]设马氏链{Xn}的状态空间I={1,2,3,4,5}，转移矩阵(jǔzhèn)为试分析其闭集及不可约性。状态空间(kōngjiān)的分解[例6]设状态空间(kōngjiān)I={1,2,…,6}，转移矩阵为试分解此链，并指出各状态的常返性及周期性。随机(suíjī)矩阵几个(jǐꞬè)结论4遍历性与平稳(píngwěn)分布[定义]设齐次马氏链{Xn,n0}的状态空间为I，若对于一切i,jI，存在不依赖于i的极限(jíxiàn)，则称该马氏链具有遍历性，并称pj为状态j的稳态概率。平稳(píngwěn)分布平稳(píngwěn)分布的判别[例7]（例4.16）设马尔可夫链的转移概率矩阵(jǔzhèn)为P，求马氏链的平稳分布及各状态的平均返回时间。感谢您的欣赏(xīnshǎng)内容(nèiróng)总结