马尔柯夫预测法第三节马尔柯夫预测?马尔柯夫（A.AMarkov）预测法是应用概率论中马尔柯夫链的理论和方法来研究随机事件变化并借此分析预测未来变化趋势的一种方法。?马尔柯夫（A.AMarkov俄国数学家）。一．基本概念二．稳态概率三．实例第三节马尔可夫决策案例引入：实例2：P198例6-7我国出口某种设备，在国际市场上的销售状况有两种：畅销和滞销。畅销每年可以获利100万元，滞销时每年仅获利30万元。以一年为一个时期，如果不采用广告推广产品或采取广告措施，状态的转移矩阵分别为如表6-5、表6-6所示。第三节马尔可夫决策表6-3不采取广告措施畅销畅销滞销0.80.4滞销0.20.6表6-4采取广告措施畅销畅销滞销0.90.7滞销0.10.3假定上一年处于畅销状态，每年的广告费为15万元。为了保证今后3年的利润最大化，是否应该采用广告措施？案例引入：例6-5P194某企业为使技术人员具有多方面经验，实行技术人员在技术部门，生产部门和销售部门的轮换工作制度。轮换办法采取随机形式，每半年轮换一次，初始状态，即技术人员开始是在某部门工作概率用表示，j=1，2，；pij表示处于第i个部门的技术人员在半年后（一步）转移到第j个部门的概率。已知状态转移概率?P11?P?P21??P?31P(0)P12P22P32(0)(0)P13??0.5??P23?0??P33??0.75??(0)0.50.50.250??0.5?0???(p1,p2,p3)如果某人开始在工程技术部门工作（部门1），则经过2次转移后它在生产部门工作（部门2）的概率是多少？一、基本概念?20世纪初，马尔科夫在研究中发现自然界中有一类事物的变化过程仅与事物的近期状况有关，而与事物的过去状态无关。例：设备维修和更新、人才结构变化、资金流向、市场需求变化等许多经济行为都可用这一类过程来描述或近似。所谓马尔柯夫链，就是一种随机时间序列，它在将来取什么值只与它现在的取值有关，而与它过去取什么值无关，即无后效性。具备这个性质的离散型随机过程，称为马尔柯夫链。第三节马尔可夫决策一、基本概念经济学中把这种现象称为“无后效性”，即“系统在每一时刻的状态仅仅取决于前一时刻的状态”。例如，池塘里有三张荷叶，编号为1，2，3，假设有个青蛙在荷叶上随机地跳来跳去，在初始时刻t0，它在第二张荷叶上。在时刻t1，231231第三节马尔可夫决策一、基本概念它可能跳到第一张或者第三张荷叶，也可能在原地不动。我们把青蛙在某个时刻所在的荷叶称为青蛙所处的状态，这样，青蛙在未来处于什么状态，只与它现在所处的状态有关，与它以前所处的状态无关，这种性质就是所谓的“无后效性”。上例中，青蛙所处的那张荷叶，称为青蛙所处的状态，在经济系统的研究中，一种经济现象，在某一时刻t所出现的某种结果，就是该系统在该时间t所处的状态。一、基本概念：状态、状态转移概率、状态转移概率矩阵、初始状态概率向量（一）、状态与状态变量?状态：客观事物可能出现或存在的状况。如：商品可能畅销也可能滞销；机器运转可能正常也可能故障等。?同一事物不同状态之间必须相互独立:不能同时存在两种状态。?客观事物的状态不是固定不变的，它可能处于这种状态，也可能处于那种状态，往往条件变化，状态也会发生变化。如某种产品在市场上本来是滞销的，但是由于销售渠道变化了，或者消费心理发生了变化等，它便可能变为畅销产品。用状态变量来表示状态：?i?1,2,???,NXt?i???t?1,2,???????它表示随机运动系统，在时刻t(t?1,2,?)所处的状态为i(i?1,2,?N)?状态转移：客观事物由一种状态到另一种状态的变化。如：由于产品质量或替代产品的变化，市场上产品可能由畅销变为滞销。（二）、状态转移概率n共种状态，其中?客观事物可能有E1,E2,?,ENn每次只能处于一种状态，则每一状态都具有个转向（包括转向自身Ei?E1,Ei?E2,???,Ei?EN即。?由于状态转移是随机的，因此，必须用概率来描述状态转移可能性的大小，将这种转移的可能性用概率描述，就是状态转移概率概率论中的条件概率：P（A?B）就表达了由状态B向状态A转移的概率，简称为状态转移概率。对于由状态Ei转移到状态Ej的概率，称它为从i到j的转移概率。记为：Pij?P(EjEi)?P(Ei?Ej)?P(xn?1?jxn?i)它表示由状态Ei经过一步转移到状态Ej的概率。第三节马尔可夫决策（二)、状态转移概率某地区有甲、乙、丙三家食品厂生产同一种食品，有一千个用户（或购货点），假定在研