深度图像去模糊:综述
摘要
图像去模糊是低层计算机视觉中的经典问题,其目标是从模糊的输入图像中恢复出清晰图像。模糊可能由多种因素引起,例如失焦、相机抖动或目标快速运动。近年来,深度学习技术的进步显著推动了这一问题的解决,大量去模糊网络被提出。本文旨在对近期发表的基于深度学习的图像去模糊方法进行全面且及时的综述,以服务于学术界作为有价值的文献参考。我们首先讨论图像模糊的常见成因,介绍基准数据集和性能指标,并总结不同的问题建模方式。接着,我们提出一种基于卷积神经网络(CNN)的方法分类体系,从架构、损失函数和应用角度进行详细回顾与比较。此外,我们探讨了一些特定领域的去模糊应用,包括人脸图像、文本和立体图像对。最后,我们讨论了关键挑战与未来研究方向。
1 引言
图像去模糊是低层计算机视觉中的经典任务,长期受到图像处理与计算机视觉领域的关注。其目标是从模糊的输入图像中恢复出清晰图像,模糊可能由失焦、相机抖动或目标快速运动等多种因素引起,图1展示了不同模糊类型的示例。
传统去模糊方法通常将任务建模为逆滤波问题,即模糊图像被视为清晰图像与模糊核(空间不变或空间变化)的卷积结果。早期方法假设模糊核已知,并采用经典反卷积算法(如Lucy-Richardson或维纳反卷积)结合或不结合Tikhonov正则化来恢复清晰图像。另一方面,盲图像去模糊方法假设模糊核未知,旨在同时恢复清晰图像和模糊核本身。由于此问题的不适定性,需通过多种附加约束对解进行正则化。尽管传统方法在某些情况下表现良好,但在复杂现实场景(如强运动模糊)中通常性能有限。
深度学习技术的革命性进展显著推动了计算机视觉领域的发展,在图像分类、目标检测等任务中取得了巨大成功。图像去模糊也不例外:大量基于深度学习的方法被提出用于单图像和视频去模糊,并不断刷新技术水平。然而,新方法在架构设计上的多样性使得快速把握领域全貌变得困难。本文旨在填补这一空白,综述最新进展,并为新研究者提供参考。
具体而言,本文聚焦于近期发表的基于深度学习的图像与视频去模糊方法,目标包括:
- 回顾图像去模糊的基础,包括问题定义、模糊成因、去模糊方法、质量评估指标及性能评估基准数据集;
- 讨论单图像与视频去模糊深度学习模型的新进展,并提出现有方法的分类体系;
- 分析图像去模糊的挑战并探讨研究机遇。
全文结构如下:
第2节讨论问题建模、模糊成因、去模糊类型及图像质量指标;
第3节和第4节分别介绍基于CNN的非盲与盲去模糊方法;
第5节探讨深度去模糊中的损失函数;
第6节介绍公开基准数据集;
第7节总结代表性方法的性能评估;
第8节讨论特定领域应用;
第9节展望关键挑战与未来方向。
2 基础知识
2.1 问题定义
“空间不变模糊”和“均匀模糊”在这里指的是同一个概念,都是指模糊核在整个图像范围内保持一致,不随位置变化。
非均匀模糊的特点
空间变化性 :模糊核(Blur Kernel)在图像的不同位置不同,无法用单一的均匀核(如高斯核)描述。
离焦模糊由物体位于景深外引起,与相机或物体运动无关。
离焦模糊呈圆形或椭圆形(由光圈形状决定)。
运动模糊呈线状或轨迹状(沿运动方向)。
2.2 图像质量评估
图像质量评估(IQA)方法分为主观评估和客观评估两类。
主观评估
主观评估基于人类观察者的判断,通常无需参考图像。典型指标是平均意见得分(MOS),即参与者对图像质量按1-5分进行评分。由于MOS依赖样本群体的主观判断,实际应用中通常会统计评分的分布情况。
客观评估
客观评估通过算法自动计算质量分数,可进一步分为两类:
全参考指标(Full-Reference Metrics) 需要与清晰的参考图像对比,常用指标包括:
PSNR(峰值信噪比)
SSIM(结构相似性)
WSNR(加权信噪比)
MS-SSIM(多尺度SSIM)
LPIPS(基于感知的相似性)
其中,PSNR和SSIM因计算高效,广泛用于去模糊任务的评估,而LPIPS和E-LPIPS更接近人类视觉感知。
无参考指标(No-Reference Metrics) 无需参考图像,仅通过去模糊图像自身评估质量,无真实清晰图像的情况。常用方法包括:
BIQI
BLINDS2
BRISQUE
CORNIA
DIIVINE
NIQE
SSEQ
此外,部分指标通过下游任务(如目标检测、识别)的性能间接评估去模糊效果。
总结 :
主观评估 依赖人类评分(如MOS),但受主观因素影响较大。
客观评估 通过算法量化质量,全参考指标(如PSNR、SSIM)适用于有真实图像的实验,而无参考指标(如NIQE)更适合真实场景应用。
感知一致性 :LPIPS等指标能更好反映人类视觉感知,弥补传统指标(如PSNR)的不足。
3 非盲去模糊