华中科技大学现代控制理论-7.6-动态规划与离散系统最优控制.ppt

Ch.7 最优控制原理 目录(1/1) 目 录 7.1 最优控制概述 7.2 变分法 7.3 变分法在最优控制中的应用 7.4 极大值原理 7.5 线性二次型最优控制 7.6 动态规划与离散系统最优控制 7.7 Matlab问题 本章小结 动态规划与离散系统最优控制(1/3) 7.6 动态规划与离散系统最优控制 前面讨论了连续系统最优控制问题的基于经典变分法和庞特里亚金的极大值原理的两种求解方法。 所谓连续系统,即系统方程是用线性或非线性微分方程描述的动态系统。 该类系统的控制问题是与传统的控制系统和控制元件的模拟式实现相适应的,如模拟式电子运算放大器件、模拟式自动化运算仪表、模拟式液压放大元件等。 随着计算机技术的发展及计算机控制技术的日益深入,离散系统的最优控制问题也必然成为最优控制中需深入探讨的控制问题,而且成为现代控制技术更为关注的问题。 动态规划与离散系统最优控制(2/3) 离散系统的控制问题为人们所重视的原因有二。 1) 有些连续系统的控制问题在应用计算机控制技术、数字控制技术时,通过采样后成为离散化系统, 如许多现代工业控制领域的实际计算机控制问题。 2) 有些实际控制问题本身即为离散系统, 如某些经济计划系统、人口系统的时间坐标只能以小时、天或月等标记; 再如机床加工中心的时间坐标是以一个事件(如零件加工活动)的发生或结束为标志的。 动态规划与离散系统最优控制(3/3) 本节将介绍解决离散系统最优控制的强有力工具--贝尔曼动态规划,以及线性离散系统的二次最优控制问题。 内容为 最优性原理与离散系统的动态规划法 线性离散系统的二次型最优控制 最优性原理与离散系统的动态规划法(1/3) 7.6.1 最优性原理与离散系统的动态规划法 基于对多阶段决策过程的研究,贝尔曼在20世纪50年代首先提出了求解离散多阶段决策优化问题的动态规划法。 如今,这种决策优化方法在许多领域得到应用和发展,如在生产计划、资源配置、信息处理、模式识别等方面都有成功的应用。 下面要介绍的是,贝尔曼本人将动态规划优化方法成功地应用于动态系统的最优控制问题,即构成最优控制的两种主要求解方法之一的最优控制动态规划法。 最优性原理与离散系统的动态规划法(2/3) 动态规划的核心是贝尔曼最优性原理。 这个原理归结为一个基本的递推公式,求解多阶段决策问题时,要从末端开始,逆向递推,直至始端。 动态规划的离散基本形式受到问题的维数的限制,应用有一定的局限性。 但是,它用于解决线性离散系统的二次型性能指标的最优控制问题特别有效。 至于连续系统的最优控制问题的动态规划法,不仅是一种可供选择的有充分性的最优控制求解法,它还揭示了动态规划与变分法、极大值原理之间的关系,具有重要的理论价值。 最优性原理与离散系统的动态规划法(3/3) 下面分别介绍 多阶段决策问题 最优性原理一般问题的问题描述 离散系统的动态规划法 多阶段决策问题(1/12) 1. 多阶段决策问题 在讨论动态规划法之前,先考察一个简单的最短时间行车问题,简称行车问题。 例 如图7-10所示,某交通工具从S站出发,终点为F站,全程可分为4段。 多阶段决策问题(2/12) 由S站出发至终点F站可有多种不同的行车路线,沿各种行车路线所耗费的时间不同。 为使总的行车时间最短,司机在路程的前3段要作出3次决策。 多阶段决策问题(3/12) 在该行车问题中,阶段数n=4,需作n-1=3次决策。 由于每次决策只有两种可能的选择,3次选择共有2n-1=23=8种不同的行车路线。 多阶段决策问题(4/12) 通过分析发现,另一种求最短时间行车路线方法的是: 从最后一段开始,先分别算出x1(3)站和x2(3)站到终点F的最短时间,并分别记为J[x1(3)]和J[x2(3)]。 多阶段决策问题(5/12) 为便于今后求解过程的应用,可将从x1(3)站和x2(3)站到终点的最短时间J[x1(3)]和J[x2(3)]的数值标记于代表该站的小圆圈内,如图7-11所示。 多阶段决策问题(6/12) 由此向后倒推,继续考察倒数第2段,计算x1(2)站和x2(2)站到终点F的最短时间,并分别记为J[x1(2)]和J[x2(2)]。 多阶段决策问题(7/12) 类似于前面过程,其他各站到终点的最短时间和相应的行车路线如图图7-11所示. 多阶段决策问题(8/12) 上述最短行车时间路线问题及其求解方法可以推广到许多多阶段决策优化问题,如建筑安装工期计划、经济发展计划、资源合理配置等,其相应的最优性指标可以为所耗费的时间最短,也可以为所耗费的能源最小、所得到的效益最好等。 因此,前面介绍逆向递推求解最优化问题的方法是一种具有普遍性意义的多阶段决策优化方法,称为动态规划法。 从上述解题的叙述过程可以看出,动态规划法具有如