现代信号处理现代信号处理ModernModernSignalSignalProcessingProcessing授课对象：授课对象：0707级研究生级研究生授课教师：授课教师：陈陈恩恩庆庆联系方式：联系方式：ieeqchen@zzu.edu.cnieeqchen@zzu.edu.cnororenqingchen@gmail.comenqingchen@gmail.com●●郑州大学郑州大学信息工程学院信息工程学院●●1¾¾复习复习‹Bayes估计将待估计量看成是一随机变量，是使风险函数最小的估计。‹用均方（二次型）损失函数得到的Bayes估计是MMSE估计。‹用均匀损失函数得到的Bayes估计是最大后验概(MAP)估计。‹Bayes估计需要待估计量的先验知识，即：需要待估计量的PDF或者后验分布函数f(θ|x)。而MLE仅需要由观测决定的似然函数f(x|θ)。‹最大似然估计的估计参数既可以是确定量又可以是随机量。‹服从均匀分布的随机参数的最大似然估计等价与最大后验概率Bayes估计。第二章第二章参数估计理论参数估计理论(3)(3)线性均方估计（线性均方估计（LMMSELMMSE））最小二乘估计（最小二乘估计（LSLS））2.52.5线性均方估计线性均方估计¾贝叶斯估计需要知道待估计量的PDF或者后验分布函数f(θ|x)¾最大似然估计会导致非线性问题的求解。¾线性均方（LMMSE）估计待定的估计子被表示成观测数据的线性加权和NˆθLMS=∑wxiii=1估计准则为使均方误差E{(θθˆ−)2}最小。即Nargminˆ22＝2EEwxEe{(θθ−=)}{(∑ii−θ)}{}i=1wi∂∂Ee{}22e∂e求偏导数==EEeEex{}2{}==2{i}0∂∂wwii∂wi⇒Ee{xii}==01,...,N正交性原理：均方误差最小⇔估计误差正交于每一个给定的观测数据xi¾线性均方（LMMSE）估计¾正交性原理是线性估计误差最小化的一种几何解释，即由信号矢量x的各元素作为一个分量构成一个线性空间，在这个空间中估计参数θ，线性最小均方误差估计的误差应该垂直于线性空间，或者说误差向该空间的投影最小。¾正交性原理的一个推论是线性估计误差最小化时，参数θ的估计值θˆ与线性最小均方误差估计的误差正交。¾线性均方（LMMSE）估计求系数wiNEex{}ii=−=E{(∑wxiiθ)}0xi=1N⇒=∑Rwikkgii=1,...,Nk=1其中gExiii＝{}θ，Rjij=Exx{}NN,TT记Rw==[Rwwggij]i,1j=;[][]1,..,N;g=1,..,N则有Rw＝g⇒wRg＝－1相关矩阵R可逆的条件：样本xx1,...,N不相关。¾线性均方（LMMSE）估计几点说明:（1）LMMSE除需观测向量xx外,还需要的自相关矩阵Rxx,,以及和θ的互相关矢量g这时估计需要的先验知识.而不需要一般Bayes估计的x和θ的联合概率密度函数.也就是所需先验知识较少.（2）将一个随机变量参数的估计推广到一个随机向量,或平稳信号波形的估计时，LMMSE就是Wiener滤波器。（3）当估计参数服从高斯分布的情况下，LMMSEBayes估计和一般Bayes估计是等价的，性能一样。但是，对于非高斯分布的参数，LMMSEBayes估计一般并不是真正的最优估计。而均方意义下的真正最优估计应是θθθθˆ==∫pdE()xx{θ}，但其一般是非线性的，获取比较困难。¾最小二乘（LS）估计T未知参数向量θ＝[]θθ1,..,P满足下面模型（矩阵方程）Aθ=b其中A和b分别是与观测相关的系数矩阵(NP××)和向量(1N)，是已知的，求随机向量θ（）1,当NP=⇒且A非奇异适定方程，θˆ=A−1b正常解（2,）当NP>⇒超定方程（A为高矩阵）,θˆ=AA(HH)−1AbLS解（）3当NP<⇒,,欠定方程（A为矮矩阵）θˆ=AHH()AA−1b最小范数解„谱估计、系统辨识等信号处理问题中多遇到的是超定情况。需要求最小二乘（LS）解。¾最小二乘（LS）估计目标:使误差向量eA=−θˆb各元素的平方和最小NˆˆargminHHˆθLS==∑ei=ee(Aθ−−bA)(θb)i=1θˆJeeA==−HHH()()θˆˆˆˆˆbAθ−=bθAAHHθ+−bbθHAbH−bAHθˆ∂J⇒=0∂θˆ∂J∇=∇=()yxHH()xyy⇒=2AAHHθˆ−20Ab=xxˆHHH∂θ∇=∇=xx()(xAyyAx