最优控制理论及应用.ppt

第4章 动态规划 主要内容 4.1 多级决策过程及最优性原理 4.2 离散控制系统的动态规划 4.3 连续控制系统的动态规划 连续型动态规划求解最优控制问题的步骤： （1）构造哈密尔顿函数： （2）以H(x,u,t)取极值条件求 ，即 4.4 动态规划与变分法、最小值原理的关系 本章小结 Date: * File: OC_CH4.* Optimal Control Theory Dong Jie 2012. All rights reserved. Optimal Control Theory its Application 图可以得到汽车从任何一点出发到达F 点需时最短的路径，及它相对应的最短时间。由图4-3可以看出， 汽车从S 点出发时，最快达到F 的途径是S Q1P2Q3 F需13小时。按照前面的方法（建立在最优性原理上）， 构造图,共需要做5次加法运算，如果将所有可能的途径一一列出，计算每种途径所需要的时间，然后再选出需要时间最短的途径， 这样共需做24次的加法。 由后向前递推的方法节省了大量运算，当汽车可经过的点增多时节省的运算次数会更加明显 求解动态最优化问题的两种基本方法：极小值原理和动态规划。 动态规划：是一种分级最优化方法，其连续形式与极小值原理相辅相成，深化了最优控制的研究。 在二十世纪50年代，贝尔曼在研究多阶决策问题时提出了动态规划法。 离散系统的最优控制问题可以看做一个多阶决策问题，因此可用动态规划求解。 动态规划的主导思想简单，可以方便地将一个复杂的多阶决策问题化为一系列的一阶决策问题，使问题得到简化，可以顺序求解,从而它已成为解多阶决策问题的一种有效方法。 动态规划已被广泛应用于解很多技术领域的动态最优化问题，如生产管理问题，资源分配问题，设备更新问题，多级工艺设备的优化设计问题和工程控制问题等。 多级决策过程和最优性原理 1 离散控制系统的动态规划 2 连续控制系统的动态规划 3 动态规划与变分法、极小值原理的关系 4 本章小结 5 1.多级决策过程 所谓多级决策过程，是指将一个过程按时间或空间顺序分为若干级(步)，然后给每一级(步)作出“决策”(在控制过程中令每走一步所要决定的控制步骤称之为决策)，以使整个过程取得最优的效果，即多次的决策最终要构成一个总的最优控制策略(最优控制方案)。 说明：1）全部“决策”总体，成为“策略”。 2）在多级决策过程中，每一级的输出状态都仅与该级的“决策”及该级的输入状态有关，而与其前面各级的“决策”及状态的转移规律无关。这种特有性质，称为无后效性。 以最短旅程问题为例，说明多级决策过程及动态规划的特点。 解法一：穷举法，列出所有可能的组合方案，找出时间最短的一个 可能的行车线路共有：2*2*2=8 （每阶段有两种可能） 缺点：计算量大，容易出错。 需确定一条最优的汽车行驶路线，使从S站到F站的行车时间为最短。 解法二：动态规划法，从终点开始，按时间最短为目标，逐段向前逆推， 依次计算出各站至终点站的时间最优值，据此决策出每一站的最 优路线。 特点：1）将一个多阶段决策问题化为多个单阶段决策问题，易于分析 2）每阶段评估只与前一阶段结果有关，计算量减小 2.最优性原理 若一N级决策是最优的，则以第K级(K=N)决策所形成的状态为初态的任何一个N-K级的子决策也必然是最优的。 表明： 不论初始状态和初始决策如何，其余的后级决策(或控制)对于初始决策所形成的状态来说，必定也是一个最优策略。 离散控制系统最优控制问题的提法： 离散控制系统的状态方程为 给定端点约束条件为 寻求最优控制序列 使系统从起点转移终端时，目标函数取极小值 相对独立 动态规划基本方程或贝尔曼泛函方程 同理，不断向终点递推，可得 结合（4-2），从（4-9）出发逆推到（4-5），可得出最优控制序列 动态规划递推解题过程示意图 例4-1 设一阶离散控制系统 试确定最优控制序列u(0),u(1),u(2),使如下性能指标达最小。 解：从最后一级相前递推（N=3)： 为使 达到最小，则有： 最后，从前往后推，可得出最优控制序列u*(0),u*(1),u*(2) 关于动态规划本质的讨论： 一个最优控制策略具有这样的性质，不论过去的状态及过去的决策如何，如把现在的状态看作后续状态的初态，则其后诸决策仍必须构成一最优策略。 动态规划的最优性原理得以成立的前提条件是所谓“无后效性”。即上一状态