兼顾宽度优化的RBM训练算法及其在特征抽取中的应用.pdf

◎三星推荐CHINASCIENCEANDTECHNOLOGYINFORMATIONSep.2023

中国科技信息2023年第18期�

兼顾宽度优化的RBM训练算法及其在

特征抽取中的应用

马艳东

DBN（DeepBeliefNetwork，深度置信网络）是由

可实现度可替代度一系列RBM（RestrictedBoltzmannMachine，受限玻

尔兹曼机）堆叠而成，并附加一个某种类型的分类器（例如

softmax）。由于其出色的特征抽取能力，DBN已成功应

用于模式识别和数据重构等领域，成为目前深度学习领域最

著名的网络之一。RBM作为DBN的核心组件，具有良好

的无监督学习能力，广泛应用于协同过滤、数据重构和特征

影响力真实度

抽取等方向。因此，RBM对数据重构和特征抽取的能力会

直接影响DBN的最终表现。

随着互联网与信息技术的高速发展，从数据源采集上来

行业关联度开放度

的数据集的规模和维数呈爆发性增长，给RBM的学习训练

带来了巨大的挑战。因此，RBM需要更多的隐含层节点来

生态度创新度完成对数据集的重构、特征抽取等工作。然而，随着隐含层

节点不断地增加，最终会导致浅层神经网络面临的共同问题：

过拟合与梯度弥散。为了解决这个问题，DBN提出了将神

经网络纵向拆分成若干子网络并对各个子RBM网络的参数

赋初值的思路，并使用基于梯度下降法的优化算法微调网络

互交度持续度

行业曲线参数，得到最终的深度神经网络DBN。在这个基础上，本

文提出了兼顾宽度优化的RBM算法，可以横向分块（并行的）

为RBM的超参数赋初值，从而最大限度地克服了维数灾难

（更多隐含层节点数目）带来的挑战，拥有良好的特征抽取

能力，解决过拟合和梯度弥散问题。

马艳东1,2