最小均方算法.ppt

§5.4 最小均方(LMS)算法 （1）若选择足够长的时间常数（足够多的迭代次 数），失调量M可以控制到任意小。 （2）当时间常数一定时，失调量随着权系数的数目 N正比的增长。 （3）N越大，失调量M越大，但因权系数较多，故可 以更好地逼近所希望的脉冲响应和频响特性。 X 第 * 页 第 * 页 * 最速梯度法权系数迭代公式为 其中，梯度向量 代入迭代公式得： 若信号平稳，则 可以由观测值估计得到。 若信号非平稳，统计特性是时变的，需要不断重新估计 ，因而运算量很大，这是自适应调整过程不允许的。 解决问题的关键：合理估计梯度而不需要用 LMS算法： 其基本思路与梯度下降法一致，不同之处在于用梯度的估计值代替真实的梯度，既不需要求相关矩阵，又不涉及矩阵求逆。 一. 权系数的迭代解 其中 ，所以 将上式带入权系数迭代公式，得 LMS算法迭代公式 将迭代公式写成矩阵形式： 对其中任一权系数有 当到达稳态时，应有 LMS算法稳态解存在随机波动。 二. LMS权系数的收敛性分析 LMS算法迭代公式 问题： 则上式变为： 最速梯度法权系数迭代公式 LMS算法是将期望值近似为瞬时值的最速梯度法。 两端取均值，得 若信号数据x(n)与权值wi(n)无关 比较 LMS算法迭代过程中权向量的平均特性跟最速梯度法迭代过程中权向量的特性相同。 权向量将围绕最优点随机变化，在碗底附近徘徊。 均方误差的稳态值将大于最小均方误差，产生了额外的均方误差（excess MSE）,也叫超量均方误差。 三. 均方误差的收敛性分析及失调量 LMS算法： 收敛后权向量在最佳权向量附近随机起伏，稳态均方误差在附近随机起伏，产生额外的均方误差： 失调量M= LMS的稳态均方误差 步长因子和信号功率都对失调有影响。 控制失调量和加快收敛速度矛盾，故采用变步长因子的方法。 失调量与收敛时间常数的关系 若R的N个特征值相等，则 结论： 3、4章作业部分参考答案 解： 设ARMA(2,1)的系统函数为 AR模型的系统函数为 即 当n=3时， 当n=1时， 当n=2时， 所以，ARMA(2,1)模型的系统函数为 X 第 * 页 第 * 页