盲超分的核心概念

发布于:2025-07-12 ⋅ 阅读:(22) ⋅ 点赞:(0)

一、盲超分的本质与数学建模

1. 退化过程的数学表达
低分辨率图像(LR)可看作高分辨率图像(HR)经过退化模型后的结果:

  • 𝑦:观测到的低分辨率图像
  • 𝑥:待恢复的高分辨率图像
  • 𝑘:模糊核(Blur Kernel)
  • ⊗:卷积操作
  • ↓𝑠:下采样(步长为𝑠)
  • 𝑛:加性噪声(如高斯噪声、泊松噪声等)

盲超分的核心问题:在未知 𝑘、𝑠、𝑛 的情况下,从 𝑦估计 𝑥。

2. 为什么传统超分方法会失效?
传统方法(如SRCNN、EDSR)假设退化是固定的(如双三次下采样),但真实场景中:

  • 模糊核可能是运动模糊、高斯模糊或镜头像差的混合;
  • 噪声可能是传感器噪声、JPEG压缩伪影等;
  • 下采样方式未知(如非整数倍缩放、区域自适应采样)。

二、盲超分的技术路线详解

1. 显式退化建模方法:把“模糊核”显式地算出来

(1)模糊核估计

目标函数:从 LR 图像 y 估计模糊核 k,经典的最大后验(MAP)框架:

方法 关键思想 实现要点
KernelGAN (ICCV’19) 用 GAN 的判别器捕获 LR 图像梯度分布 → 生成器输出 k 判别器用 PatchGAN,损失加 TV 正则
Double-DIP (CVPR’18) 两个 DIP 网络分别估计 x 和 k,交替优化 网络结构:U-Net;需加核范数正则防止平凡解

踩坑经验

  • 核尺寸必须 ≥ 真实核(一般设 21×21),否则估计会“截断”高频。
  • 噪声 σ>2 时,先对 y 做轻度降噪(BM3D/FFDNet),否则核估计会过拟合噪声。

(2)退化-重建联合优化(IKC 路线)

步骤

  • 初始化一个粗略的模糊核 𝑘0;
  • 用当前 𝑘𝑖 训练超分网络,生成HR图像 𝑥𝑖;
  • 根据重建误差反向优化 𝑘𝑖;
  • 重复2-3步直至收敛。

优点:逐步修正模糊核,避免一次性估计的误差累积。

二、隐式退化学习:不估计核,让网络“自己学”

(1)退化空间搜索(Degradation Space Search)
Real-ESRGAN(2021):

  • 提出高阶退化建模:模糊 → 噪声 → 下采样 → JPEG压缩 → 传感器噪声的串联。
  • 训练时随机采样退化参数,迫使生成器适应多种退化组合。
  • 关键改进:使用UNet判别器增强对伪影的感知能力。

(2)域适应(Domain Adaptation)
BSRGAN(2021):

  • 构建更复杂的合成退化模型,模拟相机成像链路(如镜头模糊、色彩畸变)。
  • 通过数据增广生成贴近真实世界的LR-HR对。

3. 基于元学习与测试时优化
MZSR(Meta-Transfer Learning for Blind SR):

  • 在测试时根据输入图像动态调整网络参数(类似“快速适应”)。
  • 解决训练-测试退化分布不一致问题。

网站公告

今日签到

点亮在社区的每一天
去签到