强化学习之DQN

参考：https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/

DQN的两大特色：

Experience replay：经验回放，Q-learning是一种off-policy离线学习方法，可以利用以前的经验进行学习

Fixed Q-targets：打乱相关性，用到两个结构相同，但架构不同的神经网络。一个神经网络用于Q估计，具有最新的参数；另一个神经网络估计Q现实，用到很久以前的参数R+gama*maxQ'

我们知道监督学习里边调整神经网络参数使通过输出和样本的误差来求偏导数进行校正，然而在DQN里面我们没有监督学习的样本，只有玩游戏给的Reward，于是我们通过Q和Q’误差巧妙的作为反向传播调整网络权值的指标，这也就成就了DQN的厉害，不需要人工设定标签，可以自我学习，自我调整网络权重。

注意强化学习的cost曲线如下：

可以看出曲线并不是平滑下降的, 这是因为 DQN 中的 input 数据是一步步改变的, 而且会根据学习情况, 获取到不同的数据. 所以这并不像一般的监督学习, DQN 的 cost 曲线就有所不同了.