人工智能8.3基于神经网络的学习8.3.1神经网络概述8.3.1.1基本的神经网络模型Hopfield神经网络是反馈型网络的代表。网络的运行是一个非线性的动力学系统，所以比较复杂。Hopfield神经网络已在联想记忆和优化计算中得到成功应用。优化计算过程中陷入局部极小一直是长期以来困扰人们的一个问题。具有随机性值的模拟退火(SA)算法就是针对这一问题而提出来的，并已在神经网络的学习及优化计算中得到成功应用。Boltzmann机是具有随机输出值单元的随机神经网络，串行的Boltzmann机可以看作是对二次组合优化问题的模拟退火算法的具体实现，同时它还可以模拟外界的概率分布，实现概率意义上的联想记忆。自组织竞争型神经网络的特点是能识别环境的特征，并自动聚类。它们在特征抽取和大规模数据处理中己有极为成功的应用。8.3.1.2NN学习方法NN学习方法类型。按学习过程的组织与管理分有监督学习无监督学习按学习过程的推理和决策分确定性学习(大多数学习方法属于此类)随机学习模糊学习学习方法简介：死记式学习：网络的连接权值是根据某种特殊的记忆模式设计而成的，其值不变。在网络输入相关信息时，这种记忆模式就会被回忆起来。Hopfield网络作联想记忆和优化计算时就是属于这种情况。有监督学习：在这种学习中学习的结果，即网络的输出有一个评价的标准，网络将实际输出和评价标准进行比较，由其误差信号决定连接权值的调整。评价标准是由外界提示给网络的，相当于由有一位知道正确结果的教师示教给网络，故这种学习又称为有教师学习。在这种学习中网络的连接权值一般根据δ规则进行调整。无监督学习：无监督学习是一种自组织学习，此时网络的学习完全是一种自我调整的过程，不存在外部环境的示教，也不存在来自外部环境的反馈来指示网络期望输出什么或者当前输出是否正确，故又称为无教师学习。自组织学习：网络根据某种规则反复地调整连接权值以适应输入模式的激励，指导网络最后形成某种有序状态。亦可说神经元对输入模式不断适应，从而抽取输入信号的特征(如统计特征)。一旦网络完成了对输入信号的编码，当它再现时就能把它识别出来。其中，学习规则有Hebb学习规则和相近学习规则，前者产生自放大作用，后者产生竞争作用；故自组织学习是通过自放大、竞争以及协调等作用实现的。输入数据的冗余(Redundancy)为神经网络提供知识，如根据输入数据的统计特征可以得到一些知识。如果没有这种冗余性，则自组织学习就不能发现输入数据中的任何模式或特征，故数据冗余性是自组织学习的必要条件。无监督学习可以实现主分量分析(PrincipleComponentAnalysis)、聚类(Clustering)、编码(Encoding)以及特征映射(FeatureMapping)的功能。竞争学习是无监督学习的一种方法。网络在学习时，以某种内部规则确定竞争层“获胜”神经元，其输出为1，其他神经元输出为0，连接权值的调整仅在获胜神经元(或包括其邻域神经元)与输入神经元间进行，其他不变。无监督的Hebb学习规则是在自组织学习中采取Hebb学习规则调整网络的连接权值，以适应输入模式的激励。有监督与无监督的混合学习：有监督学习具有分类精细、准确的优点，但学习过程复杂。无监督学习具有分类灵活、算法简练的优点，但学习过程较慢。混合学习过程一般事先用无监督学习抽取输入数据的特征，然后将这种内部表示提供给有监督学习进行处理，以达到输入输出的某种映射。由于对输入数据进行了预处理，将会使有监督学习以及整个学习过程加快。无监督学习：竞争学习是无监督学习的一种重要学习方法，其特点是按某种评价确定竞争获胜神经元，它的输出为1，其他神经元的输出置为0，仅对获胜神经元与输入间的连接权值进行调整，其余不变。此时连接权值的学习规则可按下式计算：wij(t+1)=wij(t)+α(t)(xj-wij(t))其中，xj为输入信号，j=l，2，…，n；α(t)为t时刻的学习系数。Boltzmann学习：一种随机学习方式。模糊学习：它是一种以模糊理论为基础的学习方法，其特点是学习过程用模糊值(隶属度)进行学习，即输入量是经过模糊化后的模糊量。加强学习(Reinforcementlearning)：有监督学习时假定对每一个输入模式都有一个正确的目标输出。而加强学习是外界环境仅仅给出对当前输出的一个评价，而不会给出具体的期望输出是多少。8.3.1.3NN的性质和能力(3)适应性。NN嵌入了一个调整自身连接权值以适应外界变化的能力。(4)证据响应。在模式识别的问题中，NN可以设计成既提供选择哪一个特定模式的信息，也提供决策的置信度的信息。(5)背景信息。神经网络的特定结构和激发状态代表知识。网络中每一个神经元潜在地都受网络中所有其他神经元全