矩阵范数和奇异值分解.pdf

动态系统及控制讲义 Mohammed Dahleh Munther A. Dahleh George Verghese 电气工程与计算机科学系 麻省理工学院1 1© 第四章 矩阵范数和奇异值分解 4.1 引言 在这一讲中，我们将引入矩阵范数的概念。之后会介绍矩阵的奇异值分解或者叫SVD。SVD 揭示了矩阵的2 范数，它的值意义更大：它使一大类矩阵扰动问题得以解决，同时也为后面 稳定鲁棒性的概念打下基础；它还解决了所谓的完全最小二乘问题，该问题是我们前面讲的 最小二乘问题的推广；还帮我们澄清在矩阵求逆计算中碰到的态性的概念。在下一讲中，我 们会花更大的篇幅来叙说SVD 的应用。 例 4.1 为了提高大家对矩阵范数研究和应用的兴趣，我们首先从一个例子开始，该例子提 出了与矩阵求逆有关的矩阵态性问题。我们所感兴趣的问题是矩阵求逆对矩阵扰动的敏 感程度。 考虑求下列矩阵的逆 马上就可以求得 现在我们假设对一个受到扰动的矩阵求逆 求逆后，结果就成了 在这里 表示A 中的扰动， 表示 中的扰动。显然 中一项 的变化 会导致 中 的变化。如果我们解 ，其中 ，得到 ，加入扰动后，解得 。 在这个结果中，我们仍然可以清楚的看到开始数据仅有 的变化，却导致解产生 的变化。 以上例子中我们看到的要比在标量情况下差的多。如果 是标量，那么 ，所以 的倒数中小数部分的变化和 的变化在同一量级上。 因此，在上例中的现象完全是在矩阵的时候才出现的。看上去好像和 是近似奇异的事实 有关——因为它的列几乎不独立，且它的行列式值要比它的最大元素小很多，等等。随后（见 下一讲），我们会找到衡量奇异程度的合理方法，同时还要说明在求逆情况下，这种方法和 灵敏度的关系如何。 在理解这种灵敏度和扰动的细节关系之前，我们首先要找到度量向量和矩阵量级的方 法。在第一讲中我们已经引入了向量范数的概念，所以我们现在来看一下矩阵范数的定义。 4.2 矩阵范数 一个 维复数矩阵可以看成（有限维）赋范向量空间 中的一个算子： 其中，这里的范数指的是标准欧氏范数。定义 的归纳2-范数如下： 术语“归纳”是指在向量 和 的范数的基础上，使得以上矩阵范数的定义有意义。该定 义中，归纳范数表示矩阵 在 中单位圆上向量扩大的倍数，也就是说，它表示矩阵的 增益。 除了用2-范数来度量向量 和 ，我们还可以用 范数，感兴趣的是 的情 况。它的定义是： 需要考虑的一个很重要的问题是，在第一讲向量范数定义的情况下，归纳范数是否是真 正的范数呢？下面，我们来回顾定义范数的三个条件： 现在我们证明 是 上的范数——利用前面的定义： 1．对任意 都有 ，所以 。进一步有 ，因为 是 在单位圆上的最大值。 2 ．对任意的 ，由 得 。 3 ．三角不等式仍然成立，因为： 归纳范数有两条额外重要的性质： 1． ，它是由定义直接推得的结论； 2 ．对于 称为子乘性质。也可以直接由定义得出： 除以 得： 由此我们得出结果。 归纳 2-范数将是本讲以及下一讲的重点，在我们深入研究它的更多细