第3章双变量回归模型：估计问题§3.1普通最小二乘法普遍最小二乘法（Methodofordinaryleastsquares，简记OLS）的发明要归功于德国数学家高斯（CarlFriedrichGauss）我们知道，双变量的PRF：（2.4.2）这个PRF是不能直接观测到的。我们必须通过SRF去估计它：（2.6.2）（2.6.3）但是，SRF又如何决定呢？首先，把（2.6.3）写成：（3.1.1）残差是Y的实际观测值与估计值之差，亦即拟合误差如果有n对Y和X的观测值，想要确定合适的样本回归方程（SRF），使Y的估计值尽可能地接近其实际值,即拟合的直线为“最佳”，有三种方法：——最小化.其中及得到的权重和及得到的权重一样多，所有残差都受到同样的重视。结果，很可能离开SRF而散布的很远，但代数和却很小。见下页图——最小化得到的SRF曲线二、最小的原则这种方法能避免剩余项的正负值相互抵消的缺陷，但其中的绝对值符号给数学处理带来不便。三、使剩余平方和达到最小也就是采用使拟合误差的平方和为最小作为选择“最佳”参数和的准则。这样求出的参数，称作最小二乘解，求解过程称作最小二乘法OLS法的推导：最小二乘准则通过最小化下式实现的：（3.1.2）上式分别对和求偏导数得：令以上两式等于零，可得：以上方程组称为正规方程组或正规方程，n为样本容量。式乘以，式乘以n，得（2）－（1）得:（3.1.7）注：OLS估计量的数值性质：Ⅰ．OLS估计量是纯粹可以用可观测的样本量（指X和Y）表达的，因此，这些量是比较容易计算的Ⅱ．这些量是点估计量（pointestimators），不同于区间估计量（intervalestimators）Ⅲ．一旦从样本数据得到OLS估计值，便易于画出样本回归线。这样得到的回归线有如下性质：1．它通过Y和X的样本均值由（3.1.7）式：得：2．估计的Y的均值（即的均值）等于实测的Y均值（Y实际观测值的均值）：也可以这样证：样本回归模型：（2.6.2）可以表达为离差形式（deviationform）:（3.1.13）证明：我们已知有：（3.1.12）（2.6.2）式减去（3.1.12）式得：即：离差形式的好处：好记，运算简便4．残差和预测的Yi值不相关。证：5．残差和不相关，就是说在求解最小二乘估计量的过程中，曾经有：§3.2经典线性回归模型：最小二乘法的基本假定回归分析的目的不仅在于估计和，而且还要对真实的和进行推断（drawinferences）PRF说明即依赖于和因此，先明确Xi和ui是如何产生的（它们的分布情况）才能对Yi作出统计推断，从而才能对和作出统计推断。也就是说，为了回归估计的有效解释，对解释变量和误差项作出假定是非常重要的经典（又称高斯或标准）线性回归模型（记CLRM）（TheGaussian,standard,orclassicallinearregressionmodel）有10个假定：假定1：线性回归模型即回归模型对参数而言是线性的。如回归子Y（regressand）和回归元X（regressor）本身可以是非线性的假定2：在重复抽样中X值是固定的即假定X是非随机的（nostochastic）。这涉及到抽样问题。假定每次我们把X固定在某个值上（比如80$），随机抽取一个样本点进行观测，可以得到一个Y值；再按这固定的X值（X还是80$），抽取一个Y值。在每次抽取中（即重复抽样），X值都固定在80$。采用这个方法可以对所有的X值重复这一过程。（P44表2.4和表2.5的样本数据就是这样从P36表2.1中抽取出来的）。这意味着我们的回归分析是条件回归分析（conditionalregressionanalysis），就是以回归元X的给定值为条件的假定3：干扰项ui的均值为零即ui的条件均值为零：对于给定X的每一个Y总体，都是围绕其均值而分布的。有的Y值位于均值之上，有的位于其下，离开均值的上方和下方的距离就是ui参见P67Figure3.3是说，凡是模型不显含的并因而归属于ui的因素，对Y的均值都没有系统的影响。正的ui抵消了负的ui，以致它们对Y的平均影响为零等价于假定4：同方差性（homoscedasticityorequalvarianceofui）或ui的方差相等即ui的条件方差（variances）是恒定的：（3.2.2）假定5：各个干扰之间无自相关给定任意两个X值，Xi和Xj，ui和uj之间的相关为零cov代表协方差（covariance）ui和uj之间不相关，也就是无序列相关（noserialcorrelation），或无自相关（noanto-correlation）