深度学习方法的一些研究1.1深度学习的背景及意义提取抽象水平较低的特征深度学习的概念起源于人工神经网络的研究1.2深度学习的发展2010年，美国国防部DARPA计划首次资助斯坦福大学、纽约大学和NEC美国研究院开展深度学习研究2012年6月，GoogleBrain项目用16000个CPU搭建深度学习平台，在语音、图像识别领域获得重要进展2012年12月，微软亚洲研究院在天津的一次活动中利用深度学习技术进行全自动同声传译，效果良好2013年1月，李彦宏宣布成立百度的第一个研究院InstituteofDeepLearning2013年4月，《麻省理工学院技术评论》将深度学习列为2013年十大突破性技术之首2013年6月微软对WindowsPhone平台的必应语音搜索进行了更新。语音识别和反馈的速度提高一倍，精确度提升15%2014年3月Facebook的Deepface项目使得人脸识别技术的识别率达到97.25%，准确率几乎可媲美人类贪婪算法贪婪算法Step1.用训练样本和一个隐层创建一个限制玻尔兹曼机(RBM)。训练此RBM得到参数;贪婪算法Step2.再堆积一个隐层，用先前RBM的隐层和此隐层构建一个新的RBM。固定，用从先前的RBM中抽取样本,并作为新RBM的样本。训练新RBM得到参数;贪婪算法Step3.继续堆积隐层，并用类似的方法训练第三个RBM得到参数。根据具体任务进行相应的微调判别微调用后向传播方法极大化生成微调用至顶向下的算法极大化稀疏连接2.3实验2.3实验Iris10000张图，每张像素为12X12网络共有两个隐层，第一个隐层有144个神经元，第二个隐层有50个神经元10000张图，每张像素为12X12网络共有两个隐层，第一个隐层有144个神经元，第二个隐层有50个神经元10000张图，每张像素为12X12网络共有两个隐层，第一个隐层有144个神经元，第二个隐层有50个神经元第一个样本所引起的隐层(第一个隐层)神经元响应概率的柱状图部分响应次数较多的隐层神经元的判别能力极大似然梯度计算的难点：如何抽取模型分布的样本？从理论上讲，人们总能通过MCMC采集到符合目标分布的样本实际应用中，人们通常不了解多少次转移是足够的。这个问题很大程度上受到目标分布陡峭程度的影响。借助多个辅助的Gibbs链，将低温分布下的状态转移到高温分布中，实现目标分布中不同峰值状态的转移，达到对整个分布采样的目的。4.3等能量抽样PTEE小数据集NannanJi,JiangsheZhang,ChunxiaZhang.Asparse-responsedeepbeliefnetworkbasedonratedistortiontheory,PatternRecognition,2014,47(9):3179-3191.NannanJi,JiangsheZhang,ChunxiaZhang,etal.EnhancingperformanceofrestrictedBoltzmannmachinevialog-sumregularization,Knowledge-BasedSystems,2014,63:82-96.NannanJi,JiangsheZhang,ChunxiaZhang,etal.DiscriminativerestrictedBoltzmannmachineforinvariantpatternrecognitionwithlineartransformations,PatternRecognitionLetters,2014,45:172-180.JiangsheZhang,NannanJi,JunminLiu,etal.Enhancingperformanceofthebackpropagationalgorithmviasparseresponseregularization,Neurocomputing,2014,AcceptwithMinorRevision.NannanJi,JiangsheZhang.Paralleltemperingwithequi-energymovesfortrainingofrestrictedBoltzmannmachines,InProceedingsofIEEEInternationalJointConferenceonNeuralNetworks,2014:120-127.致谢：研究受科技部973项目国家自然科学基金委面上项目重大研究计划资助研究工作主要参加者：姬楠楠、张春霞、刘军民协助PPT制作：姬楠楠谢谢！谢谢！