基于学习的图像超分辨率重建优化算法研究.pdf
摘要
随着机器学习和深度学习在图像处理领域取得了较大的突破和较好的效果，
许多研究者开始将深度学习应用在图像处理的各个问题上，图像超分辨率重建就
是其中一个经典的问题。如何将卷积神经网络应用在图像超分辨率重建上，使得
重建出来的图像能具有较好的人眼观感、较丰富的细节和更接近真实图像的效果，
是研究者所需要解决的重点。此外，当前的卷积神经网络进行超分辨率重建时所
需要的重建时间和网络消耗的运算、存储资源都较大，不能很好的应用在一些需
要超分辨率的边缘设备和可穿戴设备上。为了解决上述问题，本文在研究分析了
传统的基于深度学习的图像超分辨率重建算法。并且分析算法改进优劣，对传统
算法进行优化。具体工作如下：
（1）研究了基于卷积神经网络的图像超分辨率重建算法SRCNN
（Super-ResolutionConvolutionalNeuralNetwork），了解卷积神经网络在图像超分
辨率重建过程中的重建过程及卷积神经网络的基础理论。之后，在此基础上，对
基于SRCNN的几种改进算法FSRCNN（FastSuper-ResolutionConvolutionalNeural
Network）、ESPCN（EfficientSub-PixelConvolutionalNeuralNetwork）、DRCN
（Deeply-RecursiveConvolutionalNetwork）和DRRN（DeepRecursiveResidual
Network）进行讨论分析，研究每种算法的改进方向及对超分辨率重建图像的影响。
在此基础上，总结分析影响超分辨率重建图像的重建效果的因素，并在这些网络
的基础上，提出改进的卷积神经网络——HVSR（HorizontalandVertical
Super-Resolution）网络，在卷积核的形状结构、卷积层的设计和网络整体结构、
激活函数等方面都做出一定的改进或者优化。通过对卷积神经网络进行改进，解
决了超分辨率重建图像物体边缘模糊、重建后锯齿化严重等问题。最后，在4倍
放大倍数的条件下通过对几种算法的仿真和对比，证明HVSR网络所重建的图像
具有较好的人眼观感，在测试集上的峰值信噪比平均提升了约0.3dB。网络的重建
时间平均只比最快的SRCNN网络慢了0.04s，同时在训练过程中也能较快的捕捉
到图像特征，使训练周期缩短，在40个周期后能够达到较好的性能，体现出本文
所提出网络具有一定的优异性。
（2）对卷积神经网络在进行图像超分辨率过程中的重建速度慢、网络参数数
目多和计算资源消耗大的问题，本文在研究了卷积神经网络轻量化理论的基础上，
对HVSR网络进行了轻量化的优化，设计出HVSR_LIGHT网络。HVSR_LIGHT
网络通过GroupedConvolution、DepthwiseConvolution等方式对HVSR网络进行
优化，将原有网络的存储资源和卷积时的计算量进一步减小。此外，利用分组卷
积和跳跃连接的思想，设计出一种新的网络——分组跳跃网络，该网络能够在不
增加网络参数数目的情况下增加网络的深度。通过对比试验证明，HVSR_LIGHT
相比于HVSR在重建图像质量方面并没有明显的降低，重建图像所产生的人眼观
感没有明显区别，证明HVSR_LIGHT网络达到了对HVSR网络轻量化的目的。此
外，分组卷积网络也在传统网络的基础上也有提高。通过轻量化处理，
HVSR_LIGHT网络更加适合部署在边缘设备和可穿戴设备上。
本文所采用的图像重建质量评判标准，是图像超分辨率重建领域广泛使用和普
遍接纳的峰值信噪比（PeakSignaltoNoiseRatio,PSNR）和结构相似度（Structural
Similarity,SSIM），通过对不同网络所重建出来的图像进行统一的评判来验证本文
所提出的网络的重建性能。图像超分辨率重建时采用的数据集是该问题中普遍使
用的通用数据集Set5和Set14，通过观察重建图像的客观指标和图像效果对卷积神
经网络的效果进行评判。
关键词：图像超分辨率重建，卷积神经网络，轻量化，峰值信噪比
ABSTRACT
Withma