基于GAN与物理先验的水下光学图像增强研究.pdf

基于GAN与物理先验的水下光学图像增强研究

摘要

为了保证水下机器人在水下目标识别海洋环境探测等视觉任务的性能，水下图像

处理能力就显得尤为重要。水下图像增强是水下视觉设备获取高质量水下图像的关键技

术之一，是支持水下目标检测等后续高级视觉任务的基础。近年来，深度神经网络在数

字图像处理领域的发展备受关注。深度神经网络在处理特征提取图像模式分类等任务

中具有得天独厚的优势，对于非线性系统有着强大的建模能力。深度学习算法适合在水

下复杂成像环境中解决图像增强的视觉任务，提高水下视觉平台的智能性与鲁棒性。

本文的主要研究内容与成果包含以下几个方面：

1.基于深度学习的水下图像增强算法需要大量的水下数据集，而获取大量且种类丰

富的配对水下图像较为困难。针对深度学习模型缺乏训练数据数据集种类较少的问题，

提出了用于水下图像合成的混合水下图像合成模型(Hybridunderwaterimagesynthesis

model,HUISM)。该模型融合了物理先验与卷积神经网络(Converlutionneuralnetwork,

CNN)技术。物理先验帮助模型模拟水下图像的退化过程。CNN作为补充，帮助模型生

成水下退化图像的更多细节，提高水下合成图像的多样性与准确性。

2.现有的水下增强方法倾向于将图像增强与目标检测视为两个完全独立无交互的

任务。针对单独使用水下图像处理方法不能更好地提高水下目标检测精度的问题，设计

了两种基于感知损失的检测损失函数，进而提出了两种单级深度检测感知器(One-stage

deepdetectionperceptor,ODDP)。两种检测感知器通过感知损失将编码知识以梯度的形

式传递到增强模型中，分别引导增强模型生成在视觉上良好和有利于检测的图像。

3.将混合水下图像合成模型和检测感知增强模型融合到统一的模型中，搭建了基于

CycleGAN的混合增强生成对抗网络(Hybridenhancementgenerativeadversarialnetwork,

HEGAN)。利用两条循环一致性路径完成水下域到水上域的转换，即水下退化图像到清

晰图像的转换。合成模型和增强模型分别在两条路径中作为生成器，利用对抗性损失函

数和循环一致性损失函数进行训练，使得整体模型生成高质量的清晰图像。

针对基于深度学习的水下图像增强算法缺乏大量且种类丰富的数据集的问题，提出

了一种混合水下图像合成模型，结合物理先验和CNN技术，能生成具有不同退化程度

的逼真水下图像。同时，设计了基于感知损失的增强模型，并将合成模型与增强模型纳

入到CycleGAN网络中，合成方法作为增强方法的支撑性技术，使得整体算法能生成视

觉上良好且有利于检测的图像。通过合成真实水下失真图像增强结果表明，所提的方

法可行、有效。

关键词：深度神经网络；生成对抗网络；水下图像合成；水下图像增强；感知损失

基于GAN与物理先验的水下光学图像增强研究

ABSTRACT

Inordertoensuretheperformanceofunderwaterrobotsinvisualtaskssuchas

underwatertargetrecognitionandoceanenvironmentdetection,theunderwaterimage

processingcapabilitiesareparticularlyimportant.Underwaterimageenhancementisoneof

thekeytechnologiesforunderwatervisualequipmentstoobtainhigh-qualityunderwater

images,andisthefoundationforsupportingsubsequentadvancedvisualtaskssuchas

underwater