第五章随机型神经网络5.1随机型神经网络的基本思想对于Hopfield网络，其工作规则也是使网络的能量函数朝梯度下降的力向变化，即随着网络状态的不断更新，网络能能量函数单调下降，其结果也往往是是使网络陷入局部极小值，最终得不到网络的最优解。分析以上两种网络结构与算法的特点：导致网络学习过程陷入局部极小点的原因主要有：①结构上:存在着输入与输出之间的非线性函数关系,从而使网络误差或能量函数所构成的空间是一个含有多极点的非线性空间；②算法上:网络的误差或能量函数只能按单方向减小而不能有丝毫的上升趋势。对于第一点，是为保证、网络具有非线性映衬能力而必不可少的。解决网络收敛问题的途径就只能从第二点入手，即不但让网络的误差或能量函数向减小的方向变化，而且，还可按某种方式向增大的方向变化，目的是使网络有可能跳出局部极小值而向全局最小点收敛。这就是随机型神经网络算法的基本思想。4.2模拟退火算法金属或某类固体物质退火处理过程是：先用高温将其加热熔化，使其中的粒子可以自由运动；逐渐降低温度，粒子的自由运动趋势也逐渐减弱，并逐渐形成低能态晶格。若在凝结点附近温度下降的速度足够慢，则金属或固体物质一定会形成最低能量的基态，即最稳定结构状态。实际上，在整个降温的过程中，各个粒子都可能经历了由高能态向低能态、有时又暂时由低能态向高能态最终趋向低能态的变化过程。启发：如果把神经网络的状态看作金属内部的“粒子”，把网络在各个状态下的能量函数E看作是粒子所处的能态；在算法中设置一种控制参数T，当T较大时，网络能量由低向高变化的可能性也较大；随着T的减小，这种可能性也减小。如果把这个参数看作温度，让其由高慢慢地下降，则整个网络状态变化过程就完全模拟了金属的退火过程，当参数了下降到一定程度时，网络将收敛于能量的最小值。在模拟退火算法中，有两点是算法的关键：①控制参数T；②能量由低向高变化的可能性。这两点必须结合起来考虑，当T大时，可能性也大，T小时，可能性也小，把“可能性”当作参数T的函数。“可能性”用数学模型来表示就是概率。由此可以得到模拟退火算法如下：上式表明：在模拟退火算法中，某神经元的输出不象Hopfield算法中那样，是由以内部状态Hi为输入的非线性函数的输出(阶跃函数)所决定的，而是由Hi为变量的概率PHi(1)或PHi(0)所决定的。不同的Hi，对应不同的概率)PHi(1)或PHi(0)。以上各式体现了模拟退火算法的两个关键点。将Hopfield网络能量函数的变化式重写:这在Hopfield算法中是不允许的。而这里却允许比较小的概率(负横轴所对应的概率)接受这种变化。从图还可以看出：当温度T较高时，PHi(1)相对于Hi的变化反应迟钝，曲线趋于平坦，特别是当时．曲线变为一条恒为0．5的直线。此时ui取1和0的概率相等，这意味着在T较高的期间，网络各神经元有更多的机会进行状态选择，相当于金属内部的粒子作激烈的自由运动；当温度降低时，PHi(1)曲线变陡．PHi(1)相对于Hi的变化相当敏感。当时，曲线退化为一阶跃函数，则算法也从模拟退火算法过渡到Hopfield算法。可以说：Hopfield算法是模拟退火算法在时的特例。反复进行网络的状态更新，且更新次数N足够大以后，网络某状态出现的概率将服从分布：式中，Ei为状态{ui}所对应的网络能量。这一概率分布就是由统计力学家LudwigBoltzmann(1844—1906年)提出的Boltzmann分布。式中的Z是为使分布规一化而设置的常数(网络所有状态的能量之和为常数)。由这一分布可以看出:状态的能量越小，这一状态出现的概率就越大。这是Boltzmann分布的一大特点，即“最小能量状态以最大的概率出现”。5.3Boltzmann机与Boltzmann机工作规则Boltzmann机网络结构基本上与离散型Hopfield网络结构相似，由N个神经元构成，每个神经元取0、1二值输出，且神经元之间以对称连接权相互连接。与Hopfield网络所不同的是:Boltzmann机网络一般把整个神经元分为可视层与隐含层两大部分，可视层又可分为输入部分和输出部分。但它与一般的阶层网络结构不同之处是网络没有明显的层次界限，且神经元之间不是单向连接而是双向连接的，如图所示。Bo1tzmann机网络的算法根据其两大用途分为：工作规则：也就是网络的状态更新规则，主要用于优化组合问题。学习规则：也就是网络连接权和输出阈值的修正规则，主要用于以网络作为一种外界概率分布的模拟机。这也是Boltzmann机网络的一个独特的用途。Boltzmann机网络工作规则与Hopfield网络工作规则十分相似，只是以概率方式取代阶跃函数方式来决定网络根据