10 人工神经网络(ANN)方法简介7.ppt

设学习集有T个样本，记为{x?, t?}，? =1, 2, …, T，其中： 输入 理想输出 计算实际输出，记为： 实际输出 显然有： 因此只需讨论某一个样本点的误差传播，以下略去上标? 。 故误差函数为： 已知下列记号： 又定义第k个输出神经元和第j个隐层神经元的误差率为： 输出层误差率 隐层误差率 由微分链式法则，计算可得： 输出层误差率 隐层误差率 因此，得到： 梯度法求解wij(l) 取步长因子为固定步长?，得到学习规则： 其中?k(2)、?k(1)均与?有关，k=1,2,…,c；j=0, 1,…,M；i=0, 1, …, N。 补充：梯度法求解优化问题 已知D ? Rn是一个凸集。求解无约束优化问题 就是寻求x* ? D使得 若f (x)为连续可微凸函数，问题归结为求解 可运用Newton迭代法数值求解。 （但f (x) 的凸性难以保证，求解也非常困难……） 构造逐次使目标函数值下降的搜索算法： 满足： ?k0：步长因子 BP学习算法的实现 设学习集有T个样本，记为{x?, t?}，? =1, 2, …, T，其中： 输入 理想输出 又设k=1,2,…,c；j=0, 1,…,M；i=0, 1, …, N。对于给定的? =1, 2, …, T，指标?仍然不标出。 STEP 1 初始化权重矩阵和阈值wji(1)(0)、 wkj(2)(0) （已包含阈值），选择学习效率?。 STEP 2 设第t次迭代值wji(1)(t)、 wkj(2)(t)已知， （1）前向过程：对? =1, 2, …, T，依次计算： （2）后向过程：利用公式 对? =1, 2, …, N，依次计算 STEP 2 设第t次迭代值wji(1)(t)、 wkj(2)(t)已知， . . . （3）迭代过程：计算第t +1次权重矩阵 STEP 3 由此得到序列 满足 直至满足停机准则（满足某种优化准则，或者迭代次数） BP学习算法的例子 考虑某双层前向网，设激活函数为： 误差函数为： 注意到： 于是有 其中： 利用： 得到迭代公式。 §10.4 ANN方法在计算生物学 的应用 在生物序列分析中的应用 生物调控信号的研究（感知器算法具有优势） 例子：原核基因RBS（核糖体结合位点）——E. coli翻译起始位点的序列特征的分析 参考文献： G. D. Stormo, T. D. Schneider, L. M. Gold, and A. Ehrenfeucht. Use of the ‘perceptron’ algorithm to distinguish translational initiation sites in E. coli. Nucleic Acid Research. (1982) 10:2997-3011 G. D. Stormo, T. D. Schneider, and L. M. Gold. Characterization of translational initiation sites in E. coli. Nucleic Acid Research (1982) 10:2971-2996 在结构识别中的应用 蛋白质二级结构的预测（BP算法得到广泛的应用） 参考文献： N. Qian and T. J. Sejnowski. Predicting the secondary structure of globular proteins using neural network models. Journal of Molecular Biology, (1988) 202: 865-884 H. Bohr, J. Bohr, S. Brunak et. al. Protein secondary structures and homology by neural networks: The ?-helices in rhodopsin. FEBS Letters, (1988) 241: 223-228 L. H. Holley and M. Karplus. Protein secondary structure prediction with a neural network. Proc. Nat. Acad. Sci. USA, (1989) 86: 152-156 基于氨基酸序列的蛋白质构象预测 DNA序列功能位点的预测（基因翻译起始位点、转录因子结合位点、真核基因剪接位点等） …… 详细内容请参考译本：《生物信息学——机器学习方法》张东晖等译