马尔可夫过程(guòchéng)一、马尔可夫过程(guòchéng)的概念2.马尔可夫过程(guòchéng)的定义或写成研究时间和状态都是离散(lísàn)的随机序列称条件(tiáojiàn)概率3.平稳性一步转移(zhuǎnyí)概率三、应用(yìngyòng)举例马尔可夫过程(guòchéng).设每一级的传真(chuánzhēn)率为p,误码率为q=1-p.而与时刻(shíkè)n以前所处的状态无关.例3一维随机(suíjī)游动理论(lǐlùn)分析:一步(yībù)转移概率说明(shuōmíng):解//某计算机房的一台计算机经常出故障,研究者每隔15分钟观察一次计算机运行状态(zhuàngtài),收集了24小时的数据(共作97次观察).用1表示正常状态(zhuàngtài),用0表示不正常状态(zhuàngtài),所得的数据序列如下:96次状态转移(zhuǎnyí)的情况:以下研究(yánjiū)齐次马氏链的有限维分布.由以上讨论知,转移概率决定(juédìng)了马氏链的运动的统计规律.因此,确定马氏链的任意n步转移概率成为马氏链理论中的重要问题之一.四、小结(xiǎojié)第二节多步转移概率(gàilǜ)的确定一、C-K方程(fāngchéng)这一事件(shìjiàn)可分解成:证明(zhèngmíng)所以(suǒyǐ)二、多步转移(zhuǎnyí)概率的确定解在传输(chuánshū)系统中,解传输(chuánshū)后的误码率分别为:(2)根据贝叶斯公式,当系统(xìtǒng)经n级传输后输出为1,原发字符也是1的概率为:说明(shuōmíng)例3解概率(gàilǜ)为四、小结(xiǎojié)第三节遍历性一、遍历性的概念(gàiniàn)定义(dìngyì)二、(有限(yǒuxiàn)链)遍历性的充分条件说明(shuōmíng)试说明(shuōmíng)带有两个反射壁的随机游动是遍历的,并求其极限分布(平稳分布).无零元,链是遍历(biànlì)的代入最后(zuìhòu)一个方程(归一条件),得唯一解所以(suǒyǐ)极限分布为设一马氏链的一步(yībù)转移概率阵为表明(biǎomíng)四、小结(xiǎojié)(有限(yǒuxiàn)链)遍历性的充分条件内容(nèiróng)总结