Chp9Chp9：参数推断：参数推断主要内容主要内容„参数推断的基本概念参数推断的基本概念„参数推断的方法参数推断的方法„矩方法„极大似然估计（MaximumLikelihoodEstimator,MLE）„MLE的性质参数推断参数推断假设已知模型的函数形式假设已知模型的函数形式F={}fx();:θθ∈Θ，其中其中Θ⊂Rk为参数空间为参数空间目标：目标：估计参数估计参数θθ=(1,...,θk)例子例子一些流行的参数模型的例子：一些流行的参数模型的例子：„线性判别分别（LDA）(分类)„混合高斯模型(密度估计)„高斯噪声模型(回归)参数估计参数估计假设有一类模型函数F，如所有的高斯函数的集合，其参数参数空间为Θ={}()μσ,:μ∈R,σ>0。通常我们只对一些函数T()θ感兴趣，如均值或均值的函数。因此μ为感兴趣参数(parameterofinterest)，σ为冗余参量(nuisanceparameter)。有多种方法可用来估计模型的参数„矩估计法„极大似然估计：更流行„贝叶斯方法矩方法矩方法矩方法得到的估计虽然不是最优的，但是很容易计算„当其他方法不可用时，可用矩方法可用作很多迭代算法的初始值基本思想：矩匹配„对真正的矩和样本矩进行匹配矩方法矩方法XXfx11,...,nk~();θθ,=(θ,...,θ)ααθ≡=EXxfxdxjj=;θj阶矩：jj()θ()∫()1n阶样本矩：jj阶样本矩：αˆj=∑Xini=1矩方法：取前k阶矩真正的矩样本矩ˆαθ11()n=αˆˆαθ22()n=αˆ###ˆαθkn()=αˆk例：例：BernoulliBernoulli分布分布令令X1,...,Xn∼Bernoulli()p，，一阶矩一阶矩α1==Ep(X)p1n一阶样本矩一阶样本矩αˆ1==∑XinXni=1所以我们得到估计所以我们得到估计1npXXˆnin==∑ni=1例：高斯分布例：高斯分布2令令XXN1,...,n∼()μσ,，参数为，参数为θμσ=(,)，，一阶矩一阶矩αμ1==Eθ()X1n一阶样本矩一阶样本矩αˆ1==∑XinXni=1222二阶矩二阶矩αμσ2==+EθX()n12二阶样本矩二阶样本矩αˆ2=∑()Xini=1所以所以⎧n⎪1⎧⎪μˆnin==XX⎪μˆnn=X⎪n∑⎪⎪⎪i=1⎪n⇒2⎨⎨n21⎪⎪2212σˆ=−()XX⎪⎪μσˆ+=ˆXnin∑⎪⎪⎪nn∑()i⎩⎪ni=1⎩⎪ni=1极大似然估计（极大似然估计（MLEMLE））极大似然估计极大似然估计„似然函数„对似然函数求最大值极大似然估计的性质极大似然估计的性质似然函数似然函数令令XX1,...,n为为IIDIID，其，其PDFPDF为为f(x;θ)，，似然函数似然函数定定义为义为nLni()θθ=∏fX(;)i=1„有时也记为Ln(θ;x)或Ln(θ|x)，表示似然函数为在给定x的情况下，参数θ的函数。似然函数在数值上是数据的联合密度，但它是参似然函数在数值上是数据的联合密度，但它是参数数θθ的函数，的函数，Ln:0,Θ→[)∞。因此似然函数通常。因此似然函数通常不满足密度函数的性质，如它对不满足密度函数的性质，如它对θθ的积分的积分不不必为必为11。。似然的解释似然的解释若X是离散的，则Ln()θ;xXx==Pθ()。如果我们比较两个参数θ1和θ2的似然值，如果P(XxPXx=>)(=)θθ12则观测到的样本更可能发生在θ=θ1下，也就是说，相比θ2，θ1是一个更可信的猜测。对连续的X，P(xXx−<εε<+)L(θ;x)θ1≈n1P(x−<εεθXx<+)L(;x)θ2n2但通常我们并不将似然解释为参数θ的概率极大似然估计极大似然估计„极大似然估计（MLE）θn是使得Ln()θ最大的θ，即ˆθθnn=argmaxL()θ„似然函数定义为：，它和似然函„loglog似然函数定义为：l(θθ)=logLn()，它和似然函数在相同的位置取极大值。数在相同的位置取极大值。„同样，相差常数倍也不影响似然函数取极大值的同样，相差常数倍也不影响似然函数取极大值的位置。因此似然函数中的常数项也可以抛弃。位置。因此似然函数中的常数项也可以抛弃。例：例：BernoulliBernoulli分布分布令令X1,...,Xn∼Bernoulli()p，，1−x则概率函数则概率函数f()xp;