基于梯度架构搜索的卷积神经网络轻量化技术研究.pdf

摘要

近年来，随着所需的神经网络模型越来越复杂，视觉分类任务的多样性也随之

增加，不断刷新着其准确性。但对分类精度性能的要求越来越高，使得神经网络结

构越来越深，对实现图像分类任务所需的计算能力和内存大小提出了更高的要求。

压缩和加速卷积神经网络结构以减少对硬件的依赖性成为研究重点，在网络性能、

模型参数量和计算速度之间寻求一个平衡成为研究关键，从而使边缘设备上处理

的的数据更加有效。基于此，本文聚焦于基于梯度优化的结构搜索技术，深入研究

梯度架构搜索技术在卷积神经网络上的效用。主要研究内容分为两部分。

1.针对网络结构搜索算法计算复杂度较高以及搜索效率较低的问题，提出了

一种基于梯度架构搜索的表现预测优化算法。所提算法首先将所设计的搜索空间

松弛为连续的，并使用梯度优化算法对网络结构进行训练，同时以准确率为基准训

练预测模型，然后利用放射缩放变换在保证优化效率不变的情况下提高网络性能，

最后评估并更新预测模型，得到最终的轻量化模型。所设计算法一方面通过对候选

结构的性能排序，加速了网络训练消耗的时间，降低了算法计算的复杂度，另一方

面通过基于模型结构直接预测其准确率与放射缩放变换操作，以实现更高性能的

压缩。在CIFAR-10、CIFAR-100、ImageNet数据集上进行了实验验证，证明了所

提算法的有效性，并与其他梯度架构搜索算法相比，取得了更优的搜索效率，证明

了算法的高效性。

2.针对网络结构搜索过程中产生的局部优化、过度拟合的问题，提出了一种基

于梯度架构搜索的联合学习优化与评估算法。所提算法首先随机初始化架构超参

数，并通过知识迁移，利用评估网络的特征反馈更新架构超参数，将优化算法和评

估算法的公式进行联合，然后采用乘法器交替方向算法将原始问题转换为最优化

问题，以协作的方式优化集成架构，建立循环反馈机制，使搜索网络和评估网络共

同优化，从而实现拓扑结构的优化，以适应最终的评估网络，最后通过联合训练搜

索和评估网络来优化架构拓扑和评估网络权重，并正则化以实现网络的轻量化。一

方面所设计算法通过联合学习优化搜索网络结构，解决了网络结构局部优化的问

题，并提升了网络性能，另一方面梯度优化技术的引入使得模型更加稳定。所提算

法在CIFAR-10、CIFAR-100数据集以及NAS-Bench-201基准测试上与其他方法相

比获得了更优越的压缩与加速性能。

关键词：结构搜索，卷积神经网络，梯度优化，表现预测，联合学习

ABSTRACT

Inrecentyears,astherequiredneuralnetworkmodelshavebecomemorecomplex,

thediversityofvisualclassificationtaskshasalsoincreased,constantlyrefreshingtheir

accuracy.However,therequirementsforclassificationaccuracyandperformanceare

gettinghigherandhigher,whichmakesthenetworkstructuredeeperanddeeper,andputs

forwardhigherrequirementsforthecomputingpowerandstoragespacerequiredfor

imageclassificationtasks.Inordertomakedatapreprocessingonedgedevicesmore

efficient,itisnecessarytocompressandacceleratetheconvolutionalneuralnetwork

structuretoreducethedependenceonhardware.Findingabalancebetweennetwork

performance,modelparameterquantityandcomputingspeedisthekeytothepro