第三章参数估计与非参数估计分类器功能结构•参数估计与监督学习•参数估计理论•非参数估计理论基于样本的Bayes分类器：通过估计类条件概率密度函数，设计相应的判别函数基于样本直接确定判别函数方法12基于样本的Bayes分类器设计基于样本的Bayes分类器pP(|xω)(ω)•Bayes决策需要已知两种知识：P(|)ωx=iiipP(|xω)(ω)∑jj样本分布的–各类的先验概率P(ωi)j统计特征：决策规则：–p(x|)训练各类的条件概率密度函数ωi概率判别函数‹样本集知识的来源：对问题的一般性认识或一些训练数据密度函数决策面方程‹基于样本两步Bayes分类器设计¾P()p(x|)利用样本集估计ωi和ωi•最一般情况下适用的“最优”分类器：错误率最¾基于上述估计值设计判别函数及分类器小，对分类器设计在理论上有指导意义。‹面临的问题：¾如何利用样本集进行估计•获取统计分布及其参数很困难，实际问题中并不一¾估计量的评价定具备获取准确统计分布的条件。¾利用样本集估计错误率34直接确定判别函数§3-1参数估计与监督学习•基于样本直接确定判别函数方法：一．参数估计与非参数估计–针对各种不同的情况，使用不同的准则函数，设计出满足这些不同准则要求的分类器。参数估计：–这些准则的“最优”并不一定与错误率最小相一致：先假定研究问题具有某种数学模型，如正次优分类器。态分布，二项分布，再用已知类别的学习–实例：正态分布最小错误率贝叶斯分类器在特殊情样本估计里面的参数。g(x)=wTx况下，是线性判别函数（决策面是超平非参数估计：面），能否基于样本直接确定w?不假定数学模型，直接用已知类别的学习选择最佳准则决策规则：训练样本集判别函数样本先验知识估计数学模型。决策面方程561§3-1参数估计与监督学习（续2）§3-1参数估计与监督学习（续1）z下图表示对一幅道路图像按路面与非路面分类可用两种不同做法，其中左图二．监督学习与无监督学习是在图像中路面区与非路面中各找一个窗口，将其中每个象素分别作为这两类的训练样本集，用这两个样本集在特征空间的分布参数进行设计。监督学习：在已知类别样本指导下进行学习和训练，可以统z而无监督学习方法则不同，它不预先选择样本类别的样本集，而是将整幅图计出各类训练样本不同的描述量，如其概率分的像素都作为待分类样本集，通过它们在特征空间中表现出来的聚类现象，布，或在特征空间分布的区域等，利用这些参把不同类别划分开。z图中有监督学习，样本集分布呈现交迭情况，而无监督学习方法由于没有类数进行分类器设计，称为有监督学习。参数估别样本指导，无法确定它们的交迭情况，只能按分布的聚类情况进行划分。计和非参数估计都属于监督学习。无监督学习：不知道样本类别（也就是说没有训练样本），只知道样本的某些信息，然后利用这些信息进行估计，如：聚类分析。参数估计也属于无监督学习。78§3-1参数估计与监督学习（续3）§3-1参数估计与监督学习（续4）z非监督学习与有监督学习方法的区别：3．非监督学习方法寻找数据集中的规律性，这种规律性并1．有监督学习方法必须要有训练集与测试样本。在训练集中找规律，不一定要达到划分数据集的目的，也就是说不一定要而对测试样本使用这种规律；“分类”。这一点比有监督学习方法的用途要广泛。譬而非监督学习没有训练集这一说，只有一组数据，在该组数据集内寻如分析一堆数据的主分量，或分析数据集有什么特点都找规律。可以归于非监督学习方法的范畴。2．有监督学习方法的目的就是识别事物，识别的结果表现在给待识别数据加上了标号。因此训练样本集必须由带标号的样本组成。4．用非监督学习方法分析数据集的主分量,与用K-L变换计而非监督学习方法只有要分析的数据集本身，预先没有什么标号。如算数据集的主分量又有区别。应该说后者从方法上讲不果发现数据集呈现某种聚集性，则可按自然的聚集性分类，但不以与是一种学习方法。因此用K-L变换找主分量不属于非监督某种预先的分类标号对上号为目的。学习方法。例如上图的道路图像，有监督学习方法的目的是找到“道路”，而非通过学习逐渐找到规律性是学习方法的特点。在人工神监督学习方法则只是将中间一条带状区域区分开来，本质上讲与“道经元网络中寻找主分量的方法属于非监督学习方法。路”这个标号没有关系。910贝叶斯分类器中只要知道先验概率P(ωi),类条¾类条件概率密度函数估计：两大类方法件概率P(x/ωi)或后验概率P(ωi/x)就可以设计分类–参数估计：概率密度函数形式已知，而表征函器了。现在研究,如何用已知训练样本信息估计数参数未知，需通过训练数据来