第三章马尔可夫过程(Markov)CollegeofScience,HohaiUniversityStochasticProcessesMarkov过程是一个具有无后效性的随机过程.无后效性:当过程在时刻tm所处的状态为已知时,过程在大于tm的时刻t所处状态的概率特性只与过程在tm时刻所处的状态有关,而与过程在tm时刻之前的状态无关.(1)参数和状态都离散-----马氏链(2)参数离散,状态连续-----马氏序列(3)其余皆为马氏过程.CollegeofScience,HohaiUniversityStochasticProcesses马尔可夫链1定义{X(t),tT}是一个s.p.(1)T={0,1,2,},E={0,1,2,};(2)任给正整数n,m,k和任意非负整数jn>jn-1>>j2>j1(jn<m)与之相应的状态im+k,im,ijn,,ij2,ij1有P{X(mk)i|X(m)i,X(j)i,,X(j)i}mkmnjn1j1P{X(mk)imk|X(m)im}称{X(t),tT}为马氏链.常记为{X(n),n=0,1,2,}.CollegeofScience,HohaiUniversityStochasticProcesses2一步转移概率P{X(m1)j|X(m)i}pij(m)称为马氏链在时刻m的一步转移概率.易有：（1）0pij(m)1;（）2pij(m)1.jCollegeofScience,HohaiUniversityStochasticProcesses若E={0,1,2,}，则p00(m)p01(m)P1Pp10(m)p11(m)称为马氏链在时刻m的一步转移概率矩阵。CollegeofScience,HohaiUniversityStochasticProcesses若E={0,1,2,,k}，则p00(m)p01(m)p0k(m)p(m)p(m)p(m)PP10111k1pk0(m)pk1(m)pkk(m)CollegeofScience,HohaiUniversityStochasticProcesses若p(m)与m无关，即无论在何时刻，从状态iPij{X(m1)j|X(m)i}pij(m)出发经一步到达状态j的概率都相等，记为P{X(m1)j|X(m)i}pij称此时马氏链为齐次马氏链（关于时间齐次）。p00p01p0k（1）0pij1;p10p11p1kP1P（）2pij1.jpk0pk1pkkCollegeofScience,HohaiUniversityStochasticProcesses例直线上带完全吸收壁的随机游动E={0、1、2、3、4、5}00完全吸收壁1000001q0p000右移一格2p(0<p<1)0q0p00P3左移一格q(q=1-p)00q0p04000q0p55完全吸收壁000001CollegeofScience,HohaiUniversityStochasticProcesses例直线上带完全反射壁的随机游动E={0、1、2、3、4、5}01完全反射壁0100001q0p000右移一格2p(0<p<1)0q0p00P3左移一格q(q=1-p)00q0p04000q0p54完全反射壁000010CollegeofScience,HohaiUniversityStochasticProcesses例直线上带反射壁的随机游动E={0、1、2、3、4、5}0q(q=1-p)0部分反射壁qp00001p(0<p<1)q0p0001右移一格p(0<p<1)0q0p002P左移一格3q(q=1-p)00q0p04000q0p4q(q=1-p)5部分反射壁5p(0<p<1)0000qpCollegeofScience,HohaiUniversityStochasticProcesses例直线上带吸收壁的随机游动（赌徒输光问题）E={0、1、2、3、4、5}00完全吸收壁1000001q0p000