第九章神经网络1、人工神经网络（ArtificialNeuralNetwork，简称ANN）是指由简单计算单元组成的广泛并行互联的网络，能够模拟生物神经系统的结构和功能。2、组成神经网络的单个神经元的结构简单，功能有限，但是，由大量神经元构成的网络系统可以实现强大的功能。3、人工神经网络在模式识别、计算机视觉、智能控制、信号处理、语音识别、知识处理、机器学习、数据挖掘等领域有着广泛的应用前景。4、神经网络由许多基本单元构成，这些基本单元模仿了人脑的神经元。5、如果将多个基本单元以适当的方式连接起来，就构成了神经网络。基本单元之间的连接相当于人脑中神经元的连接。基本单元之间的连接方式有多种，从而形成了多种神经网络。6、神经网络可以模仿人的头脑，通过向一个训练数据集学习和应用所学知识来生成分类和预测的模式。7、在数据没有任何明显模式的情况下，这种方法很有效。1、最早的形式化神经元数学模型是M-P模型，由美国心理学家McCulloch和数理逻辑学家Pitts合作于1943年提出。2、1949年，心理学家Hebb提出Hebb学习规则。3、1958年，计算机科学家Rosenblatt提出感知器(Perception)的概念，掀起人工神经网络研究的第一次高潮。4、1982年，美国加州工学院的生物物理学家Hopfield提出Hopfield网络模型，这标志着神经网络研究高潮的再次兴起。1、使用神经网络模型近似多变量函数，如：2、此处，函数f(…)是未知的。Xi代表输入变量，wi代表系数。人工神经元是对生物神经元的抽象与模拟。1943年，心理学家麦克洛奇（W．McMulloch）和数理逻辑学家皮茨（W．Pitts）根据生物神经元的功能和结构，提出了一个将神经元看作二进制阈值元件的简单模型，即M-P模型，如图所示。Y=sign(0.3x1+0.3x2+0.3x3-0.4)其中：功能函数f是表示神经元输入与输出之间关系的函数，根据功能函数的不同，可以得到不同的神经元模型。常用的神经元模型有以下几种。（1）阈值型（Threshold）（2）分段线性强饱和型（LinearSaturation）（4）子阈累积型（SubthresholdSummation）这种类型的作用函数也是一个非线性函数，当产生的激活值超过T值时，该神经元被激活产生一个反响。在线性范围内，系统的反响是线性的，如图所示。1）神经元及其联接；2）神经元之间的联接强度决定信号传递的强弱；3）神经元之间的联接强度是可以随训练改变的；4）信号可以是起刺激作用的，也可以是起抑制作用的；5）一个神经元接受的信号的累积效果决定该神经元的状态；6)每个神经元可以有一个“阈值”。人工神经网络的学习方式多层前馈神经网络输入层节点的数据与训练样本的非类别属性数目对应，通常一个连续属性对应一个输入层单元，一个p值离散属性对应p个输入层单元；输出层节点的数据与训练样本的类别数目对应；隐藏层层数及隐藏层节点的数目目前尚无理论指导，凭经验选取。但是，至今也没有一个明确的理论来指导我们如何确定每个隐含层的节点数和网络的层数。在实践中通常用试错法。mkmkmkBP网络BP网络的各层之间具有不同的功能：输入层节点上的神经元接受外部环境的输入模式，并由它传递给相连隐层上的各个神经元。隐层是神经元网络的内部处理层，这些神经元在网络内部构成中间层，由于它们不直接与外部输入、输出打交道，故称隐层。人工神经网络所具有的模式变换能力主要体现在隐层的神经元上。输出层用于产生神经网络的输出模式。通过迭代地处理一组训练样本，将每个样本的网络预测与实际指导的类标号比较，进行学习。对于每个训练样本，修改权，使得网络预测和实际类之间的均方误差最小。这种修改“后向”进行。即由输出层，经由每个隐藏层，到第一个隐藏层。一般地，权将最终收敛，学习过程停止。反向传播算法的速度使得神经网络成为一个实际的工具，正是因为反向传播算法的有效性，才使得80年代中期，对神经网络的强烈兴趣复苏。BP神经网络是对人类神经系统的一种模拟。尽管人类神经系统规模宏大、结构复杂、功能神奇，但其最基本的处理单元却只有神经元。BP神经系统的功能实际上是通过大量神经元的广泛互连，以规模宏伟的并行运算来实现的。相关概念网络学习：是指按照某种学习规则选取新的W’，使E(W’)≤E(W)，即使E(W)对应的误差曲面上的点总是向山下移动，最终移到最深的谷底（全局最小）。若曲面有多个谷底，移动的过程可能陷入局部极小。移动步长：也称学习率，步长较小时移动轨迹较慢且平滑，易陷入局部极小；步长较大时移动速度快，可能跳过局部极小，也可能跳过全局最小点，易产生振荡。一般情况下，开始时取较大步长，后期取较小步长。梯度下降算法：如果移动