极大似然估计及其性质一、极大似然估计设联合密度函数为则似然函数为似然函数为使关于的似然函数最大化，求的一个估计，使获得的已观测到的样本值的概率自大化，即最大似然估计量（MLE）。定义对数似然函数为则最大化的值也会最大化，对的导数称作得分，将得分定义为0，即可解出（MLE），即二、MLE的性质1、一致性。2、渐进正态性。式中为信息矩阵当是一个维向量时，表示个偏导数组成的列向量，即而的二阶导数为3、渐进有效性。4、不变性。如果是的MLE，是的连续函数，则是的MLE。5、得分的均值为0，方差为。三、线性模型的极大似然估计设的多元正态密度函数为关于的多元条件密度为是由中元素关于中元素的偏导数组成的矩阵转换成的行列式的绝对值，并且为恒等矩阵。则上述意义下的对数似然函数为求的偏导数令其为零，可解出极大似然估计并且，，但不是的无偏估计，由于（基于同方差性），因此，求二阶导数为按照信息矩阵的定义，则它的逆为为满秩矩阵将、的结果代入似然函数，可得似然函数的最大值为其中，为常数，它与模型中的任何参数都无关系。四、三大检验设一般线性假设为为阶矩阵，为维已知向量。设无约束条件的似然函数最大值为，约束条件的似然函数最大值为，则似然比为如果很小，则凭自觉拒绝原假设，在某些情况下，可以由的某些特殊变换来对的“很小”导出精确的有限样本检验（统计）量，普遍适用的大样本检验是通过拉格朗日函数（求条件极值）求最大化可得约束的极大似然估计，令其残差为，的约束条件的极大似然估计为，则其中，为常数，它与模型中的任何参数都无关系。由似然比2、检验。在成立下，有，可得为中约束条件的个数。用的一致估计量代替上式中的，则3、LM检验。记得分为当约束条件有效时，应趋近于。则此时，有。可以证明，在成立的情况下，其中用代替，代替，向量满足，则并且，信息矩阵的逆矩阵为所以，Engle证明了，在大样本下，其中，为对的辅助函数的可决系数。