常见图像融合算法(alpha和金字塔融合)

发布于：2025-05-10 ⋅ 阅读:(15) ⋅ 点赞:(0)

一、背景介绍

图像融合算法作为图像的基础算法，在图像各个领域上使用非常普遍，常见的图像融合算法通常分为：像素级别，特征级别和决策级别融合，对于这些融合的定义，感兴趣小伙伴可以参考：像素、决策、特征级融合区别

由于我主要是在图像画质方向，因此更多接触和使用的主要是像素级融合，因此这里主要记录的基本都是偏像素级融合算法多些。

alpha的图像融合非常简单：需要相应输入图像和对应的mask融合权重。

假设有两张输入图像，且对应mask的权重范围为[0,255],对应图像如下图所示：

那么每个像素点对应融合权重为：

out_pixel = (pixel1* mask + pixel2*(255-mask)) / 255

融合的结果图像表现：

可以看到，融合结果图像表现明显不自然。

为了缓解这种不自然情况，通常会对权重做些简单滤波，比如guidedFilter等操作，让融合mask阈值平滑过渡。

处理前和之后mask表现如下：

最终结果图表现如下：

需要注意的是，过渡越平滑，引入的背景信息相对会越多，可能引起一些其他负面影响。

相关原理也已经很多人介绍过了，我这里也直接略过了。感兴趣小伙可以参考：山与水你和我：图像处理基础（十）拉普拉斯金字塔、压缩、图像融合等其他很多资料。

以简单的拉普拉斯金字塔融合，和前面alpha融合图集为例子。

大致操作来说分为如下几步：

1、将2张输入图像进行拉普拉斯金字塔分解。

2、将mask图像进行高斯金字塔分解。

3、对每一层图像进行alpha图像融合。

4、rgb图像三个通道各自处理，将融合后的各层图像进行拉普拉斯金字塔重建，得到结果图像。

简单理解来说，金字塔融合就是拆分成了不同尺度的alpha融合，低频亮度信息上，将alpha权重尽可能平滑，越往高频走，alpha权重尽可能保持原来样子，保证整体亮度过渡自然同时，纹理信息和前景完全一致。