机器学习 课件 12.1强化学习模型及基本要素.pdf
强化学习模型及基本要素
强化学习
引言
•航海王——路飞和他的伙伴们
•宝藏“onepiece”
强化学习
引言
找到onepiece
•航海王——路飞和他的伙伴们
•在这个过程中，他们要经历
许多决策
帮助居民
帮助居民招募伙伴
强化学习
引言
•找到“onepiece”宝藏
•序贯决策过程（强化学习过程）
•过程中包含状态、动作、反馈(奖赏)等
•需多次决策，在过程中不断摸索，才能总结出较好的策略
强化学习
强化学习的基本要素
强化学习
强化学习的基本要素
强化学习
强化学习的基本要素
•强化学习实际上是找一个从观测到动作的最优映射函数
•输入是外界观测
•目标是奖励最大化
强化学习
强化学习的主要特点
•学习过程中没有监督信号，只有奖励（reward）
•其反馈（feedback）是延迟的而非瞬间的
•强化学习过程与时间序列相关，是一个序贯决策的过程
•Agent采取的动作（action）会影响到它所接受的序列数
据
强化学习
用强化学习解决问题
•摆车问题
•一般方法：需要知道车和摆的质量、摆的长度……
•强化学习方法：自己学习，不需要这些知识
强化学习
用强化学习解决问题
•AlphaGo（Zero）
•从经验中学习新知识
强化学习
用强化学习解决问题
•淘宝搜索广告业务
•用户点击扣费
•浏览过程即与平台连续
交互的过程
•排序问题RL问题
•利用强化学习的序列
优化能力进行策略优化
强化学习
强化学习算法分类及发展趋势
•Model-freeRL(不理解环境)Model-basedRL(理解环
境)
…
强化学习
强化学习算法分类及发展趋势
•基于策略(Policy-BasedRL)，基于值(Value-basedRL)
10%20%10%30%20%21-132
强化学习
强化学习算法分类及发展趋势
•在线学习(On-policy)离线学习(Off-policy)
…
强化学习
强化学习算法分类及发展趋势
•回合更新单步更新
(Monte-Carloupdate)(Temporal-Differenceupdate)
游戏开始游戏开始
更新更新更新
更新更新更新
更新游戏结束
游戏结束
强化学习
强化学习参考资料
•学习书籍：
•RichardS.Sutton《Reinforcementlearning:Anintroduction》
•课程：
•DavidSilver强化学习课程
/video/a
•