非线性不确定系统最优控制的自适应动态规划法研究.pdf

博士学位论文公示材料 学生姓名 崔小红 学号 1310297 二级学科 控制理论与控制工程 导师姓名 张化光 论文题目 非线性不确定系统最优控制的自适应动态规划法研究 论文研究方向 非线性系统的最优控制 论文关键词 自适应动态规划; 时间延迟; 神经网络; 有限时间; 鲁棒控制; 跟踪控制; 最优控制 论文摘要(中文) 非线性系统的最优控制问题一直备受关注. 最优控制问题的核心是求解哈密尔顿-雅可比- 贝尔曼 (HJB)方程. 自适应/近似动态规划(ADP)作为求解 HJB 方程的有效方法, 能够克服传统动态规划引起的 计算复杂性问题. ADP 算法融合了加强学习, 自适应技术, 动态规划理论, 神经网络, 此算法由于可以 按照时间正向求解最优控制问题而获得广泛关注. 本文基于自适应动态规划, 研究了含有控制约束的 未知系统有限时间最优控制, 含有饱和执行器的局部未知系统的非零和问题, 含有外部扰动和控制约 束的非线性系统的H 跟踪控制, 未知时滞系统的有限时间最优控制.  文章主要内容如下： (1) 针对带有饱和执行器且局部未知的非线性连续系统的有限时间最优控制问题, 设计了一种基于自 适应动态规划(ADP) 的在线积分增强学习算法, 并给出算法的收敛性证明. 首先, 引入非二次型函数处 理控制饱和问题. 其次, 设计一种由常量权重和时变激活函数构成的单一网络, 来逼近未知连续的值函 数, 与传统双网络相比减少了计算量. 同时, 综合考虑神经网络产生的残差和终端误差, 应用最小二乘 法更新神经网络权重, 并且给出基于神经网络的迭代值函数收敛到最优值的收敛性证明. 最后, 通过两 个仿真例子验证了算法的有效性. (2)设计了基于自适应动态规划的最优在线学习算法, 用以解决局部未知且含有控制约束的非线性动态 系统的多人非零和问题. 首先, 证明了在线的策略迭代(PI)算法等价于牛顿迭代算法. 其次, 针对每个 执行者, 采用具有时变激活函数的单一神经网络近似时变的哈密尔顿-雅可比- 贝尔曼(HJB) 方程组的 解. 神经网络权重以在线方式按照时间正向迭代更新. 控制受限这一条件通过引入非二次型函数得到 解决. 对于多人非零和问题, 给出了基于神经网路的在线学习算法的收敛性证明. 最后, 我们通过仿真 算例验证了提出算法的有效性. (3)提出了一个基于神经网络且不依赖于策略的在线学习算法, 进而解决一类非线性连续时滞系统的有 限时间最优控制问题. 这个不依赖于策略的在线学习算法用来学习时变哈密尔顿方程的两阶段解, 本 算法不需要时滞系统的动态知识. 采用具有时变的激活函数的执行-评价神经网络结构实现算法的在线 调节. 同时考虑残差误差和终端误差实时调节两个神经网络的权重. 给出两个仿真算例来验证算法的 可应用性. (4)针对含有外部扰动和输入限制的未知非线性系统, 设计了H  跟踪控制器. 引入了含折扣因子的非 二次型函数作为H 性能指标, 因此可将控制输入编译到性能指标中. 求解H 跟踪控制问题的难点在   于求解跟踪哈密尔顿-雅可比-艾萨克(HJI)方程, 此方程是偏微分方程. 即使是简单的系统, 此方程的分 析解也很难获得. 为了克服这一困难, 提出了一种不依赖于模型的积分加