SVD-LS算法SVD定理：给定数据矩阵A()KM×,存在两个酉矩阵VM×M和UK×K，使得H⎛⎞Σ10UAV=⎜⎟=Σ（1）⎝⎠00其中Σ11122=diag(σ,σσ,...,rr)且σ11≥≥≥σσ22...WW，rKM≤min(,)。SVD定理也可以写成如下形式：⎛⎞Σ0rH1HHH，（）AU==ΣVU⎜⎟VU=111ΣVuv=∑σiiii2⎝⎠00i=1其中uvii和为列向量，分别称AK×M的左，右奇异向量。又由于2HH2⎛⎞Σ0H2HVAAV==Σ⎜⎟1或者AA=VΣV（3）⎝⎠00H因此V的列向量vi是()AAM×M的特征向量，其对应的特征值是A的奇异值σi的2平方σi。H同理，U的列向量ui是AA的特征向量，其对应的特征值是A的奇异值σi2的平方σi。由奇异值分解定理，可以定义A的一个更广义的伪逆矩阵⎛⎞Σ−10r1†1HH（）A==VUvu⎜⎟∑ii4⎝⎠00i=1σii原先Aw=b的最小二乘解即为求A的广义逆wAbAAAb==†1()HH−（5）当A非列满秩（因为这里只讨论超定情况，所以只考虑非列满秩，而在欠定情况下应为非行满秩）所以AHA非满秩，即()AHA−1不存在，因此（5）式无法实现。这时，用（4）式可得最小二乘解⎛⎞Σ−10r1†11HH−H（）wAbV==⎜⎟UbV=11ΣUvub1=∑ii6⎝⎠00i=1σii当AHA满秩时LS解是唯一的，用（6）式和用（5）式给出的LS解是一致的，当AHA非满秩时，（5）式不可用，LS解有很多个，其中解的模值最小的只有一个，这就是（6）式给出的SVD解。从这个意义上，SVD-LS解法更通用。问题1：虽然在理论上ir>时奇异值σi=0，但实际上，由于有计算误差等因素存在，σˆi在ir>时并不等于零。有效秩：有效秩确定有两种常用方法。σˆi计算归一化奇异值：σi=，且σk≥ε，可取ε=0.05等；σˆ1Aσσ22+++...σ2范数比方法：vk()==kF12k≥α,h=min(KM,)，可取A222Fσσ12+++...σhα=0.98等。问题2：（6）式这种最小二乘解包含了M个解参数，即w有M个元素。然而，由于Aw=b中A非列满秩（假设秩为r）意味着w中只有r个参数是独立参数，而其它参数是这r个参数是独立参数线性相关的结果。许多场合我们需要求出这r个独立（线性无关）的参数，而剔除包含冗余因素的M−r个参数。怎么办？——利用SVD进行子集选择，Golub等提出低秩LS方法（《矩阵分析与应用》）。总体最小二乘之SVD-TLS算法基本思想：不仅用扰动量e去干扰数据向量b，而且用扰动矩阵E去干扰数据矩阵A，使之联合最小化。即()A+Ex=b+e（7）或⎡⎤1(,[][]−+−bAeE,)⎢⎥=0（8）⎣⎦x等价为(B+D)z=0（9）⎡⎤1其中增广矩阵BbA=−[,]和扰动矩阵D=−[eE,]均为mn×(1)+维矩阵，z=⎢⎥⎣⎦x为(1)n+维列向量。TLS方法表述为求解向量z，使得1/2⎛⎞mnD==d2min（10）F⎜⎟∑∑ij⎝⎠ij==11总体最小二乘问题归结为，求一个具有最小范数的扰动矩阵D∈Cmn×+(1)使得B+D非满秩，因为如果满秩则只有平凡解z=0。设B的有效秩为p，且BU=ΣVH（11）令mn×+(1)矩阵Bˆ是B的最佳逼近，则ˆHBU=ΣpV（12）原方程（9）可以转化为Bzˆ=0（13）（低秩方法）接着令mp×+(1)维矩阵Bˆ(,jj+p)是Bˆ的第j列到第j+p列组成的子矩阵，这样的矩阵Bˆ(,jj+p)共有n+1-p个，即BBˆˆ(1,1++−+pnpn),...(1,1)。B的有效秩为p意味着未知参数向量x中只有p个是独立的，不妨令这些T参数是x的前p个参数，它们连同1一起构成(1)1p+×维向量α=[1,x1,...,xp]。则（13）式所示的方程求解可以变为如下n+1-p个方程组的求解：Bˆ(jj,+=p)α0,j=1,...,n+−1p（14）或写为⎡⎤Bˆ(1,1+p)⎢⎥⎢⎥Bˆ(2,2+p)α=0（15）⎢⎥#⎢⎥ˆ⎣⎦⎢⎥B(1,1)npn+−+该方程组的最小二乘解等价于使下列代价函数最小化HH⎡⎤ˆˆ⎡ˆ⎤ˆfjppnpnnpn(α)=+⎣⎦B(1,)αB(1,1++++−+)α...⎣B(1,1)α⎦B(+−+1,1)α（16）令(1)(1)pp+×+维矩阵np+−1