为了便于学习最优化方法，本章将对与优化方法密切相关的数学知识作一简要介绍，而有些数学知识将在讲解各种算法时，随之介绍．§2.1二次型与正定矩阵一、二次型与实对称矩阵二次型理论在最优化设计中应用十分广泛．应用矩阵的乘法运算，二次型与实对称矩阵紧密地联系在一起了，从而二次型的基本问题又可转化成实对称矩阵问题．二次型理论问题起源于化二次曲线和二次曲面的方程为标准形式的问题．推广到n维空间中，二次超曲面的一般方程为用矩阵表示可简记为其中矩阵A的元素正是二次型的项的系数的一半，是二次型的项的系数．因此，二次型和它的矩阵A是相互唯一决定的，且．二、正定矩阵定义2.1如果二次型对于任何一组不全为零的数恒有，则称正定，且二次型矩阵A也称为正定．简言之，一个对称矩阵A如果是正定的，则二次型对于所有非零向量X其值总为正．类似可以给出定义，若二次型，则A为半正定矩阵；若，则A为半负定矩阵；若二次型既不是半正定又不是半负定，就称矩阵A为不定的．矩阵A为正定的充要条件是它的行列式的顺序主子式全部大于零，即．由此可见，正定矩阵必然是非奇异的．例2.1判断矩阵是否正定．解∵，∴A是正定的．§2.2方向导数与梯度一、方向导数所谓方向导数的概念是作为偏导数的一个推广而引入的，它主要研究函数沿任一给定方向的变化率．定义2.2设在点处可微，P是固定不变的非零向量，是方向P上的单位向量，则称极限（）为函数在点处沿P方向的方向导数，式中是它的记号．定义2.3设是连续函数，，且，若存在，当时都有，则称P为在点处的下降方向．若，则称P为在点处的上升方向．由以上两个定义可立刻得到如下的结论：若，则从出发在附近沿P方向是下降；若，则从出发在附近沿P方向是上升．事实上，若，则当充分小时，根据式（）必有，即，其中是从出发在P方向上的点，说明是下降的．同理可以说明，若，则是上升的．二、梯度定义2.4以的n个偏导数为分量的向量称为在X处的梯度，记为梯度也可以称为函数关于向量的一阶导数．以下几个特殊类型函数的梯度公式是常用的：（1）若（常数），则，即；（2）．证设，则．于是的第个分量是所以．（3）．（4）若是对称矩阵，则．三、梯度与方向导数之间的关系定理2.1设在点处可微，则，其中是方向上的单位向量．证明在相应的数学分析中可找到（故略去）．由这个定理容易得到下列结论：(1)若，则P的方向是函数在点处的下降方向；(2)若，则的方向是函数在点处的上升方向．方向导数的正负决定了函数值的升降，而升降的快慢就由它的绝对值大小决定．绝对值越大，升降的速度就越快，即=，上式中的等号，当且仅当的方向与的方向相同时才成立．由此可得如下重要结论(如图2.1所示）：(1)梯度方向是函数值的最速上升方向；(2)函数在与其梯度正交的方向上变化率为零；(3)函数在与其梯度成锐角的方向上是上升的，而在与其梯度成钝角的方向上是下降的；(4)梯度反方向是函数值的最速下降方向．对于一个最优化问题，为了尽快得到最优解，在每一步迭代过程中所选取的搜索方向总是希望它等于或者是靠近于目标函数的负梯度（即－）图的方向，这样才能使函数值下降的最快．例试求目标函数在点处的最速下降方向，并求沿这个方向移动一个单位长后新点的目标函数值．解因为，所以最速下降方向是．这个方向上的单位向量是．故新点是，对应目标函数值为．§2.3海色矩阵及泰勒展式一、海色（Hesse）矩阵前面说过，梯度是关于的一阶导数，现在要问关于的二阶导数是什么？定义设：，，如果在点处对于自变量的各分量的二阶偏导数都存在，则称函数在点处二阶可导，并且称矩阵是在点处的Hesse矩阵．在数学分析中已经知道，当在点处的所有二阶偏导数为连续时有因此，在这种情况下Hesse矩阵是对称的．例2.3求目标函数的梯度和Hesse矩阵．解因为，所以．又因为所以．例2.4设，求线性函数在任意点X处的梯度和Hesse矩阵．解设，则，（）∴．由式（）进而知∴（阶零矩阵）．例2.5设是对称矩阵，，求二次函数在任意点处的梯度和Hesse矩阵．解设，，则将它对各变量求偏导数，得∴．在上式中显然再对它们求偏导数得∴．以上例子说明，元函数求导与一元函数的求导在形式上是一致的，即线性函数的一阶导数为常向量，其二阶导数为零矩阵；而二次函数的一阶导数为线性向量函数，二阶导数为常矩阵．最后介绍在今后的计算中要用到的向量函数的导数．定义2.6设，记，如果在点处对于自变量的各分量的偏导数都存在，则称向量函数在点处是一阶可导的，并且称矩阵是在点处的一阶导数或Jacobi矩阵，简记为