人工神经网络联结主义学派什么是神经网络内容生物学启示神经元组成：细胞体，轴突，树突，突触神经元之间通过突触两两相连。信息的传递发生在突触。突触记录了神经元间联系的强弱。只有达到一定的兴奋程度，神经元才向外界传输信息。神经元神经元神经元模型人工神经元WeightedSumRadialDistance人工神经网络生物系统中的学习生物系统中的学习ANN的学习规则两个主要问题结构Howtointerconnectindividualunits?学习方法HowtoautomaticallydeterminetheconnectionweightsorevenstructureofANN?前馈结构(FeedforwardArchitecture)-withoutloops-static反馈/循环结构(Feedback/RecurrentArchitecture)-withloops-dynamic(non-lineardynamicalsystems)Generalstructuresoffeedforwardnetworks通过神经网络所在环境的模拟过程，调整网络中的自由参数Learningbydata学习模型Incrementalvs.Batch两种类型Supervisedvs.Unsupervised若两端的神经元同时激活，增强联接权重UnsupervisedLearning最小化实际输出与期望输出之间的误差(Supervised)-DeltaRule(LMSRule,Widrow-Hoff)-B-PLearning采用随机模式，跳出局部极小-如果网络性能提高，新参数被接受.-否则，新参数依概率接受“胜者为王”(Winner-take-all)UnsupervisedHowtocompete?-HardcompetitionOnlyoneneuronisactivated-SoftcompetitionNeuronsneighboringthetruewinnerareactivated.重要的人工神经网络模型多层感知机(MLP)感知机实质上是一种神经元模型阈值激活函数判别规则单层感知机学习30多类判别情况学习:MulticlassPerceptron感知机特性感知机存在的问题改进感知机线性可分情况SupportVectorMachines优化学习单层感知机单层感知机单层感知机单层感知机多层感知机(MLP)MLPs表达能力B-PNetworkB-P算法B-P算法B-P算法梯度下降方法权值更新规则权值更新规则权值更新规则权值更新规则应用:HandwrittendigitrecognitionMLPs：讨论MLPs：讨论Hopfield网络反馈结构可用加权无向图表示DynamicSystem两种类型Discrete(1982)andContinuous(science,1984),byHopfield吸引子与稳定性Hopfield网络的能量函数Hopfield模型Hopfield网络:联想记忆Hopfield网络:AssociativeMemoriesHowtostorepatterns?Howtostorepatterns?权值确定:外积(OuterProduct)AnexampleofHopfieldmemory111Hopfield网络:组合优化(CombinatorialOptimization)例:SolveTravelingSalesmanProblem(TSP)HopfieldNetworkforTSPHopfieldNetworkforTSPHopfieldNetworkforTSPWeightdeterminationforTSP:DesignEnergyFunction能量函数转换为2DHopfield网络形式Hopfield网络迭代（TSP）自组织特征映射(SOFM)WhatisSOFM?StructureofSOFM竞争(Competition)合作(Cooperation)权值自适应(Adaptation)SOFM算法小结ANN中的两个关键问题ArchitectureandLearningApproachSolutionstothesetwoproblemsleadstoanANNmodel两种ANN结构Feedforwardvs.Feedback(Recurrent)学习策略Hebbrain,ErrorCorrection,Stochastic,Winner-take-all谢谢！