无后效应也理解为：过程在现在时刻的状态，已知的条件下，过程“将来”的情况与“过去”的情况是无关的。或者说，这种随机过程的“将来”只是通过“现在”与“过去”发生联系，如果一旦“现在”已知，那么“将来”和“过去”就无关了。或者说，这种随机过程的“将来”只是通过“现在”与“过去”发生联系，如果一旦“现在”已知，那么“将来”和“过去”就无关了。严格定义如下：严格定义如下：定义马尔可夫过程：考虑随机过程，并设，如果它的条件概率密度函数满足则称为为马尔可夫过程。定义表明，的概率密度函数只取决于的状态，而与前个状态无关。也就是“现在”的状态才对“将来”的状态有影响，而“过去”的状态对“将来”没有影响。由马尔要夫定义再根据条件密度函数公式，可写出马乐可夫过程的联合概率密度。由上式要知，马尔可夫过程的联合概率密度函数等于各个转移概率密度和初始概率密度的乘积。一般地，马尔可夫过程按照其状态和时间参数是连续还是离散，常划分成以下三个讨论和研究。①时间离散、状态离散的马尔可夫过程，常被称为马尔可夫链；②时间连续、状态离散的马尔可夫过程；③时间和状态都连续的马尔可夫过程。本章重点介绍马尔可夫链。§5.2马尔可夫链及其转移概率此时系统状态称为一个马尔可夫链，简称马氏链。马氏链中状态数目可以是有限工无限。例如，一个柱状图，如果第层岩性只与第n层岩性有关，而与更早的岩层无关，则此岩性系列构成一个马氏链。由上可知马尔可夫链实际上是当马尔可夫过程时间离散、状态离散的一个特殊过程。因此，马尔可夫链同样具有马氏过程的重要特性“无后效益”。所谓无后效应对于马氏链来说就是已知现在质点所处的状态条件下，将来质点所处的状态，只与现在质点所处状态有关，而与质点过去所处的状态无关。可以理解秋，这个过程的历史对未来的全部影响集中在最时刻的状态中，即认为系统的任何观测结果只和紧接前面的观测结果有关。马尔可夫链是一个时间离散、状态离散的时间序列，它的特点是具有无后效应，序列中它在某一时刻的某一种状态变为另一时刻的某种状态称为状态的转移。例如在地质工作中，我们可以把岩性看成一个随机运动着的量，而地层剖面上的岩性种类有砂岩、泥岩、页岩、石灰岩等，设地层剖面岩性种类有m种，这m个岩性可看成m个不同的状态，记为，岩性每经过一个单位时间作一次随机转移，不妨假设岩性现在处于状态，那么下次岩性的状态转移可能是之一，显然事先我们并不能断言岩性到底应转移到哪个状态，只能给出岩性可能转移到某个状态的概率，这个概率称为转移概率。应用转移概率可以对未来时刻出现的状态种类进行预测。1.一阶转移概率马氏链要以看作是不同状态间的转移过程，当过程在时刻处于状态i条件下，在时刻转移到状态j的概率称为转移概率，记为这里并非一般足标，而是表示两种状态，并且是从状态向状态转移。如果状态个数是有限的个，则由转移概率组成的矩阵为的矩阵，称该矩阵为转移概率矩阵，特别当马氏链的转移概率只与状态有关，而与无关，则称这种马氏链为齐次（或平稳的）马氏链，此时的转移概率记为其转移概率矩阵可写为转移概率矩阵具有两种性质：性质5.1性质5.2性质5.1是显然的，因为一个条件概率值总是非负小数。性质5.2是因为=P（必然条件）=1在实际工作中，转移概率用条件频率来确定，即综上所述，已知一个马氏链可以求出它的转移概率，反之已知马氏链的初始分布和转移概率则可完全确定一个马氏链。正如已知一个微分方程及其初始条件就可以完全确一个函数关系。因此，掌握了转移概率就相当于了解了马氏链的分布规律。例1一个地层剖面包含砂岩A、粉砂岩B和页岩C三种岩性（状态），共有12层，11个转移，从底到顶为：BCACBCABABCA，试写出它的转移概率矩阵。解因为该地层剖面有3个状态，故其中，，列出转移频数表如下：到由例2设线段[1，5]上有一个质点，假设它只能停在1，2，3，4，5点上，并且只在等时刻发生随机移动，如下图所示。移动的规则是：移动前若在2，3，4点，则均以1/3的概率向左或向右移一格或停留原处。若移动前在1点上，则以概率1移到2点。若在5点则以概率1移到4点。这样如果以表示质点在时刻时位于点，容易看出表示质点在时刻位于i点，则容易看出，是一个齐次马尔可夫链，试写出它的转移矩阵。解显然，由该点移动的线段知，齐次马氏链有5个状态，由图和规则知由1、5两点，质点不能超过，上述这种运动又称为不可越壁的随机游动。如果我们保留以上部分规则，只把其中1、5点处的规定变为质点一旦到达1或5点就不动，犹如被吸住一般，于是称这种游动为带有吸壁的随机游动。它也是一个齐次马乐可夫链，其转移概率矩阵为例11.3设有四个状态（0,1,2,3）的马乐可夫链，它的一步转移概率矩阵为：试由转移矩阵画出