马尔科夫预测与决策法马尔科夫预测与决策法――是应用随机过程中马尔科夫链的理论和方法研究分析有关经济现象变化规律并借此对未来进行预测和决策的一种方法。池塘里有三张荷叶，编号为1，2，3，假设有一只青蛙随机地在荷叶上跳来跳去。在初始时刻t0，它在第二张荷叶上。在时刻t1，它有可能跳到第一张或者第三张荷叶上，也有可能在原地不动。我们把青蛙某个时刻所在的荷叶称为青蛙所处的状态。这样，青蛙在未来处于什么状态，只与它现在所处的状态有关，与它以前所处的状态无关。实际上青蛙在一段时间内在荷叶间跳或不跳的过程就是一个马尔科夫过程。2010年6月6日Sunday2马尔可夫性与转移概率矩阵一个过程或系统在未来时刻的状态只依赖于现状时刻的状态，而与以往更前的时刻无关，这一特性就成为无后效性（无记忆性）或马尔可夫性（简称马氏性）。换一个说法，从过程演变或推移的角度上考虑，如果系统在时刻的状态概率，仅依赖于当前时刻的状态，而与如何达到这个状态的初始概率无关，这一特性即马尔可夫性。2010年6月6日Sunday3设随机变量序列，{X1,X2,???,Xn,???},它的状态集合记为S={s1,s2,???,sn,???}若对任意的k和任意的正整数i1,i2,???,ik,ik+1,有下式成立：P{Xk+1=sik+1|X1=si1,X2=si2,???Xk=sik}=P{Xk+1=sik+1|Xk=sik}则称随机变量序列{X1,X2,???,Xn,???}为一个马尔可夫链（Markovchains）。2010年6月6日Sunday4如果系统从状态si转移到状态sj，我们将条件概率P{si|sj}称为状态转移概率，记作：P(si|sj)=pij简单地说，pij是从i到j的转移概率。对于条件概率,Pij(k)=PXk+1=sisj,()i,j=1,2,Ln称为从状态si到sj的k步转移概率。当k=1时，称为从si到状态sj的一步转移概率。2010年6月6日Sunday5如果一个经济现象有n状态s1,s2,???,sn,状态的转移是每隔单位时间才可能发生，而且这种转移满足马氏性的要求，那么我们就可以把所研究的经济现象视为一个马尔可夫链。虽然一个经济现象是复杂的，但只要具有马氏性，我们便可以简单而方便的进行预测和决策。需要指出的是，马尔可夫链适用于近期资料的预测和决策。例如，在对某公司的一种商品的市场占有率进行预测时，就可以利用这种模型加以解决。又如对一个工厂转产的前景进行预测时，也同样可以利用这种方法来处理。在预测的基础上，在利用这种方法进行决策，即马尔可夫决策。需要指出的是，这里我们只限于研究一种特殊的马尔可夫链，即齐次马尔可夫链。所谓齐次是指状态转移概率与状态所在的时2010年6月6日Sunday间无关，而且这里只考虑状态集是有限的情形。6假设系统的状态为s1,s2,???,sn共n个状态，而且任一时刻系统只能处于一种状态si，那么下一个单位时间，它可能由si转向s1,s2,???,si,???,sn中之一状态；相应的转移概率为pi1,pi2,???,pii,???,pin。因此有0≤pij≤1∑pj=1nij=1,i=1,2,L,n(1)2010年6月6日Sunday7并称矩阵?p11?pP=?21?L??pn1p12p22Lpn2Lp1n?Lp2n??LL??Lpnn?(2)为状态转移概率矩阵。对于k步转移概率矩((P(k)=(pijk))m×n,其中pijk)也满足式（）1不难看出，一般的矩阵并不一定满足式（1），因此我们称式（2）的矩阵P(或P(k))为随机矩阵，或概率矩阵。2010年6月6日Sunday8稳态概率定义设{Xn,n≥0}为有限状态齐次马尔科夫链，对所有的i,j=1,2,???,N,存在与i无关的极限limPk→∞(k)ij=πj其中πj为常数，则称此{Xn,n≥0}为具有遍历性的马尔科夫链。2010年6月6日Sunday9定理设{Xn,n≥0}为有限状态齐次马尔科夫链，P为其一步转移概率矩阵，若存在正整数s>0，使对所有的i,j=1,2,???,N，有p(s)ij>0则此马尔科夫链满足遍历性。举例：讨论转移概率矩阵的遍历性。1?0??1?0?0.40.6?(1)P=?1?????0.60.4?,(2)P2=?0.40.6?,(3)P3=?0.50.5????????2010年6月6日Sunday10设P是标准概率矩阵，则必存在非零向量π=(π1,π2,???,πn)使得πP=π称π为P的平衡向量。如果进一步满足：π1+π2+???