4武汉大学计算机学院本科生课程模式识别(PatternRecognition)武汉大学计算机学院袁志勇Email:yuanzywhu@163.com第3章Bayes决策理论3.1Bayes决策的引入3.2分类器的描述方法3.3最小错误率Bayes决策3.4最小风险Bayes决策3.5Neyman-Pearson决策3.6最小最大风险决策3.7正态分布Bayes决策3.8Bayes分类器算法和例题3.9序惯分类（*:了解）3.10Bayes分类器编程举例3.1Bayes决策的引入上一章我们学习了一些分类器设计方法(如线性分类器中的感知器算法、Fisher分类器等)。现在的问题是，当分类器设计完成后，对待测样本进行分类，一定能分类正确吗？若有错分情况发生，是在哪种情况下出现的？错分类的可能性有多大？这些是模式识别所涉及的重要问题。3.1.1Bayes决策要解决的问题这里以某制药厂生产的药品检验识别为例，说明Bayes决策要解决的问题。+:正常药品x2Separatingplane-:异常药品---++对于左图的线性分类器，可用一直线作为决策面即分界---+++(面)。若待识别的药品模式向量---+++X被划分到直线的右侧，则其为正常药品，若被划分到直线-+的左侧，则其为异常药品，可见对其作出决策是很容易的，x1也不会出现什么差错。线性可分示意图问题：可能出现模棱两可的情在直线A、B之间，属于不况，见下图。此时，任何决策同类的样本在特征空间中相互穿都存在判错的可能性。插，很难用简单的分界线将它们分开。如果以错分类最小为原则分类，则图中A可能是最佳分界线，它使错分类的样本数量最小。AB但是，若将一个“-”样本错分成x2+++“+”类，所造成的损失要比将“+”---分成“-”类严重，这是由于将异常--++++药品误判正常药品，则会让病人失去治疗时机而遭受大的损失；--+-++把正常药品误判为异常药品会给++企业带来一点损失，则偏向使对--+“-”类样本的错分类进一步减少，+可能使总的损失为最小，那么B-直线就可能比A直线更适合作为x1分界线。线性不可分示意图可见，分类器参数的选择或者学习过程得到的结果取决于设计者选择什么样的准则函数。不同的准则函数的最优解对应于不同的学习结果，得到性能不同的分类器。错误分类难以避免，这种可能性可用P(ωi|X)表示，如何做出合理的判决就是Bayes决策所要讨论的问题。其中，最具代表性的是基于最小错误的bayes决策与基于最小风险的Bayes决策。(1)基于最小错误的Bayes决策它指出机器自动识别出现错分类的条件，错分类的可能性如何计算，如何实现使错分类出现的可能性最小。(2)基于最小风险的Bayes决策错误分类有不同情况，从前面的图可看出，两种错误造成的损失不一样，不同的错误分类造成的损失会不相同，前一种错误更可怕，因此就要考虑减少因错误分类造成的危害损失。为此，引入一种“风险”与“损失”的概念，希望做到使风险最小，减少危害大的错分类情况。3.1.2Bayes公式ThomasBayes贝叶斯(1702-1763)，英国数学家，做过神父，1742年成为英国皇家学会会员。Bayes在数学方面主要是研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了Bayes统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献。3.1.2Bayes公式若已知总体共有M类模式，以及各类在这n维特征空间的统计分布，具体说就是已知各类别ωi，i=1,2,……,M的先验概率P(ωi)及类条件概率密度函数P(X|ωi)。对于待测样本X，Bayes公式可以计算该样本分属各类别的概率P(ωi|X)，即后验概率。看X属于哪个类的可能性最大，就把X归于可能性最大的那个类，后验概率作为识别对象归属的依据。Bayes公式为：MP(|)(|)()ωωωωωωωiiijjiiXPXPPXP==∑(|)()(|)()()PXPPXj=1类别的状态是一个随机变量，而某种状态出现的概率是可以估计的。Bayes公式体现了先验概率、类条件概率密度函数和后验概率三者关系的式子。3.1.2Bayes公式Bayes公式可用较直观的非正式的英文表示为：likelihood×priorposterior=evidence类概密P(X|ωi)也称为ωi关于X的似然函数，或简称为“似然”(likelihood)，表明在其他条件都相等的条件下，使得P(X|ωi)较大ωi的更有可能是真实的类别。注意到后验(po