1234567891011121314151617证明思路根据定义，参数估计值的偏差为可得20212223随机性问题252627282930第二类问题测量噪声w(k)中有一部分分量与h(k)是相关的。3233第三类随机性辨识问题35363738394041424344454647484950515253545558将上面的式子写成矩阵形式，即有：7.5差分方程的参数辨识因此，有：最后，我们得到：例如：当时，我们有：因此有：其中：727374757677787980Robbins–Monro算法一般取：Kiefer－Wolfowitz算法：随机逼近参数估计方法准则函数的一阶负梯度为：若具体的准则函数取：其中和分别是均值为零，方差为和的白噪声，并且、、和两两不相关，且令：则模型（H）化为最小二乘格式：其中的噪声具有以下性质：取准则函数：利用随机逼近原理，可得参数值的随机逼近算法：由此可以得到修正的无偏算法（RSAA）随机牛顿法其中：表示准则函数的关于的二阶导数，称为Hessian矩阵，它是一对称矩阵。下面考察以下辨识问题：取准则函数：则有：且Hessian矩阵为：设是Hessian矩阵在k时刻的估计值，则有由Robbins－Monro算法，得的随机逼近算法：于是得到模型的随机牛顿算法（SNA）如下：其中为满足条件（D）的收敛因子。