第二章第二章参数估计理论参数估计理论(2)(2)BayesBayes估计估计最小均方误差估计（最小均方误差估计（MMSEMMSE））最大后验概率估计（最大后验概率估计（MAPMAP））最大似然估计（最大似然估计（MLEMLE））2.32.3BayesBayes估计与最大似然估计（估计与最大似然估计（MLEMLE））估计子的偏差:bE()θθθθθˆˆ{−=}E{}ˆ−方差：var(θˆˆˆˆ)=−EE{[(θθ()]2}{=−E()θθ2}均方误差：MmseE22()θθθθˆˆˆ==−()[()]=+var(θθˆˆ)b2()¾当N趋于无穷时，估计子均方误差mse趋于零，相当于要求其偏差和方差均趋于零，这时称该估计子为一致估计。¾最小方差无偏估计器（MVU）：对于确定性参数的估计，最理想的情况是设计一个无偏估计器，使其估计方差最小，称MVU。¾确定性参数与随机参数估计确定性参数的估计：px(;θ)其中：θ是一个确定性（非随机变量）但未知需要估计的参数p(xx;θθ)是一个与有关的观测向量的概率密度函数()PDF随机参数的估计：px(,θ)其中：θ是一个随机变量，且未知需要估计的参数p(xx,θθ)是一个与有关的观测向量和参数θ的联合PDFpx(,θθ)＝px()p(θθ)()()=pxpxpx()θθ是取值情况下x的条件PDF先验概率pxx()θθ是取值情况下的条件PDF后验概率¾¾BayesBayes估计（估计（11））在经典的确定性参数估计中，利用均方误差mse(θˆ)最小化，可能得不到可实现的估计器。因为θ是确定量，不参与概率空间的运算，即mse(θθθθˆˆ)＝∫()(;)−2pdxx∂∂mse(θˆ)⇒−＝()(;)θθˆ2pdxxθ∂∂θθˆˆ∫令其等于零∂⇒−()(;)0θθˆ2pdxxθ＝∂θˆ∫⇒θθˆ＝g()其中包含了待估计的参数，因此无法实现。¾¾BayesBayes估计（估计（22））因此，在Bayes估计中，假设所要估计的参数θ是一个随机变量，Bayes估计的是该随机参数的一次实现的值。那么估计的均方误差mse(θˆ)定义为：mse(θθθθθˆˆ)＝∫∫()(,)−2pddxx∂∂mse(θˆ)⇒−＝()(,)θθˆ2pddxxθθ∂∂θθˆˆ∫∫令其等于零∂⇒−()(,)0θθˆ2pddxxθθ＝∂θˆ∫∫⇒θˆ＝g()x可以实现。¾¾BayesBayes估计（估计（33））下面推导最小均方误差准则(MMSE)下的Bayes估计表达式。先将估计的均方误差mse(θˆ)写为：mse(θθθθθˆˆ)＝∫∫()(,)−2pddxx＝⎡⎤()()()ˆ2pdpdxxx∫∫⎣⎦θθ−θθ∂∂mse()θˆ⎡⎤⇒−＝()()()θθˆ2pdpdθxxxθ∂∂θθˆˆ∫∫⎣⎦⎢⎥令其等于零∂⇒−()()0θθˆ2pdθxxθ＝(()∵p≥0)∂θˆ∫∂⇒−()()θθˆˆ2pdθxθ＝2()θθ−pd()θxθ=0∂θˆ∫∫⇒θθθθˆ=∫pdE()xx={}θ¾¾BayesBayes估计（估计（44））θθθθˆ==∫pdE(xx){θ}说明最小均方误差准则下的Bayes估计为：已知一个观测向量x条件下的参数θ的条件期望值（条件均值）。¾通常情况下，后验概率p()θx不容易获得，因此常用下式pp(xxθθ)()pp(θθ)()p()θx==p()x∫p()()xθpdθθ此时，MMSEBayes估计得到的最小均方误差为Bmse(θθθθθˆ)＝[(Exxx)−=]2pddC(,)∫∫θxCθx为θ的条件协方差。¾¾BayesBayes估计（估计（55））例：设观测值xn()=A+=−wn(),n0,...,N1,其中wn()为零均值AWGN，方差为1，且估计量A服从零均值方差12为1的高斯分布，即pa()=e−a/2，求参数A的估计A2π11⎡⎤N−1解：pA(x)=−−exp[()xnA]2N/2⎢⎥∑(2π)⎣⎦2n=0pApA()()xpA(x)＝ApApAdA()()x∫AN−111⎡⎤12exp−[()xn−A]2/e−A2(2π)N/2⎢⎥22∑π=⎣⎦n=0N−111⎡⎤12exp−−[xn()A]2/e−A2dA∫N/2⎢⎥∑(2ππ)⎣⎦22n=0¾¾BayesBayes估计（估计（66））N−111⎡⎤12exp−−[xn()A]2/e−A2(2ππ)N/2⎢⎥22∑pA()x=⎣⎦n=0N−111⎡⎤12exp−−[xn()A]