DQNBackgroundBackgroundBackground从RL看结合DeepLearning的困难之处增强学习要结合深度学习存在的三个问题：解决之道CNN+Q-Learning=DeepQNetwork:通过Q-Learning使用Qvalue来构造标签通过experiencereplay的方法来解决相关性及非静态分布问题DQN算法DQN算法为了使用Tensorflow来实现DQN,比较推荐的方式是搭建两个神经网络,target_net用于预测q_target值,他不会及时更新参数.eval_net用于预测q_eval,这个神经网络拥有最新的神经网络参数.不过这两个神经网络结构是完全一样的,只是里面的参数不一样.DQN网络结构DQN网络结构DQN结构设置DQN结构设置DQN结构设置DQN结构设置DuelingDQNDuelingDQN将Q值的函数Q(st,at)拆成两部分，一部分是静态的环境状态本身具有的价值V(st),称为Value;另一部分是动态的通过选择某个Action额外带来的价值A(at),称为Advantage。而Q值由这两部分组合而成：DQN-environmentDuelingDQNDQNDQNDQNthanks