2.1神经网络的概述2.1.1神经网络的概念2.1.2神经网络的发展2.1.3神经网络的特点2.2神经网络的结构与分类2.2.1神经元的基本结构2.2.2神经网络基本结构2.2.3神经网络的分类2.3神经网络的学习方法2.3.1BP算法的基本原理2.3.2BP算法的特点2.3.3BP算法的改进2.4神经网络的应用2.1神经网络概述2.1.1神经网络的概念人工神经网络（Artificialneuralnetwork，简称ANN）简称为神经网络，是相对于生物学中的生物神经网络而言的，是由许多被称为神经元（Neuron）的基本计算单元通过广泛联结所组成的自适应非线性动态系统。网络的信息处理由神经元之间的相互作用来实现，网络的学习与识别决定于各神经元的动态演化过程。它是在现代生物神经科学研究成果的基础上提出来的，反映了人脑功能的基本特征。生物神经网络（BiologicalNeuralNetworks）一般指生物的大脑神经元、细胞、触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动。生物神经系统是由大量的神经细胞（神经元）组成的一个复杂的系统。据统计，人脑约有1010~1011个神经元。每个神经元与103~105个其他神经元相连，从而构成一个极为复杂庞大的网络。神经元一般由胞体、树突、轴突三部分组成，如图1所示。2.1神经网络概述【附】人脑的活动（来自百度百科）①如能把大脑的活动转换成电能，相当于一只20瓦灯泡的功率；②根据神经学家的部分测量，人脑的神经细胞回路比今天全世界的电话网络还要复杂1400多倍；③每一秒钟人的大脑中进行着10万种不同的化学反应；④人体5种感觉器官不断接受的信息中，仅有1%的信息经过大脑处理，其余99%均被筛去；⑤大脑神经细胞间最快的神经冲动传导速度为400多公里/小时；⑥人体内有45英里的神经；⑦人的大脑平均为人体总体重的2%，但它需要使用全身所用氧气的25%，相比之下肾脏只需12%，心脏只需7%。神经信号在神经或肌肉纤维中的传递速度可以高达每小时200英里；⑧大脑的四周包着一层含有静脉和动脉的薄膜，这层薄膜里充满了感觉神经。但是大脑本身却没有感觉，即使将脑子一切为二，人也不会感到疼痛；⑨人的大脑细胞数超过全世界人口总数2倍多，每天可处理8600万条信息，其记忆贮存的信息超过任何一台电子计算机。【附】人脑的结构与功能人脑分为左右脑，交叉进行支配。即左脑支配人体的右侧，右脑支配人体的左侧，大脑受伤会使他支配的那部分身体产生功能障碍。左右脑具有不同的功能。左脑主要是语言中枢，同时从事分析性工作，如逻辑推理、数学运算和写作等。右脑主要处理空间概念和模式识别。人工智能可看成是对人脑左脑功能的研究，主要基于逻辑思维，如计算机就是模拟人脑逻辑思维的人工智能系统。人工神经网络是探索人的形象思维，即针对右脑的认知规律的研究产物。【附】人脑与电脑的区别记忆与联想方面：人脑具有非凡的创造能力和良好的学习认知能力，如婴儿智力的发展。信息综合能力方面：人脑善于归纳总结、类比和概括，也可以经验、模糊甚至直觉地作出判断。信息处理速度方面：人脑中的信息处理是以神经细胞为单位，传递速度只能达到毫秒级，计算机可达到纳秒级甚至皮秒级。但在图形声音等信息处理方面速度要快于计算机，如人的识别等。信息处理机制方面：人脑中的神经网络是一种高度并行的非线性信息处理系统，而计算机采用的是有限集中的串行信息处理机制。2.1.2神经网络的发展人工神经网络的研究始于1943年，经历了从兴起到萧条，又从萧条到兴盛的发展历程。大致分为五个阶段：初创期：标志就是提出模型，建立规则。1943年，法国心理学家W.S.McCulloch和数理逻辑学家W.Pitts在分析、总结神经元基本特性的基础上，提出神经元的数学模型（即M-P神经网络模型），拉开了人工神经网络的研究序幕。1949年，心理学家D.O.Hebb提出神经元之间突触强度的调整规则假说，即Hebb规则，该规则至今仍在人工神经网络模型中起着重要作用。初始兴盛期：标志就是理论研究转向实际应用。1957年，F.Rosenblatt提出感知器模型，第一次将神经网络研究从理论探讨发展到实践应用，掀起了神经网络研究的第一次高潮。1960年，B.Widrow提出自适应线性元网络模型，在自适应系统，如自适应滤波、预测和模式识别等领域得到了很好应用。低潮期：标志就是专著《Perceptrons》（感知器）。60年代以后，由于计算机发展迅速，单层神经网络功能有限，使得研究进入低潮。尤其是1969年麻省理工学院人工智能学者M.Minsky和S.Papert出版专著《Perceptrons》，论证了简单线性感知机功能的局限性，不能解决经典的异或