Fusion of multi-exposure images

多曝光图像的融合

作者：Ardeshir Goshtasby

期刊：图像和视觉计算（2005）

摘要

       介绍一种将静止摄像机拍摄的静态场景的多曝光图像融合成具有最大信息量的图像的方法。该方法将图像 域划分为统一的块，并为每个块选择包含该块内信息最多的图像。然后使用以块为中心的单调递减混合函数将所选图像混合在一起，并且在图像域中的所有位置总和为 1。使用梯度上升算法确定混合函数的最佳块大小和宽度，以最大化融合图像中的信息内容。

引言

       所提出的方法与将高动态范围图像映射到低动态范围图像以在低动态范围监视器上显示的方法有关。在高动态范围缩减方法中，将图像强度映射到新强度以降低全局对比度，同时保持局部对比度。如果将高动态范围图像中的强度范围细分为更小的范围，并将每个范围映射到[0,255]，将获得一组看起来像多重曝光图像的图像。

       与此相识的算法有“Szeliski”，它从一组多重曝光图像中创建平均图像（平均图像像素是多重曝光图像对应位置像素的平均值），通过平均图像的直方图均衡过程（用于增加图像对比度，并补偿强度平均期间的对比度损失），将平均图像强度（以不改变平均强度的方式）映射到新强度。

       上述方法基于以下观察：如果整个场景的辐照度变化很大，当获得不同曝光的图像时，与所有其他图像相比 ，一个图像区域可能在一张图像中出现最佳曝光。 一个曝光不足或过度曝光的图像区域所携带的信息比该适量曝光的区域要少。

融合方法

       本文方法与上述算法相反，其选择输入图像中的“最佳曝光”图像作为输出的块。用最小平方法（通过最小化误差的平方和寻找数据的最佳函数匹配）将图像块平滑地组合在一起。

       当场景中的辐照度变化很大时， 需要具有不同曝光水平的图像来捕捉所有场景细节。如果某图像比任何其他图像包含更多该区域有关信息，则认为该图像在该区域为最佳曝光。其中，信息量使用熵来衡量：

       其中pi是强度为i的像素的概率。

       由于人类视觉系统能区分的颜色比亮度多，所以本文将颜色分量引入图像信息量的计算。将RGB图像转换为CIELab图像（包括人眼可见的所有色彩的色彩模式），使用Lab颜色值计算图像信息量。为了避免色彩比像素多的现象，本文将所有颜色归并到256个族群中，颜色表示为：{Ci ：i = 0，··· 255}。然后计算其近似熵。

       为了确定局部领域内曝光最好的图像，用“最大化融合图像信息”的方法，将图像划分为dxd的块。选择熵最大的块。

       通过这种方法获得的图像块的组合图像，可能在块与块之间存在明显的不连续性。如图f。

       a-e代表不同曝光图像，f是其组合图像。g是将混合函数与图像颜色相乘，加权相加的融合图像。h是由a-e构建的最大信息量的图像。

       要消除图像块之间的不连续性，而不是剪切和粘贴块以获得图像。本文，以选定的图像的最佳曝光块为中心，使用单调递减的混合函数（混合函数将最大权重分配给块中心的像素，其他像素的权重与到块中心的距离成反比 ），将图像颜色与相应的混合函数值相乘。最后，通过下式，将N个最佳块对应的经混合函数处理过的图像加权求和，计算出最终的输出图像O（x，y）。

       Wjk代表混合函数分配给某图像第j行k列图像块的权重值。Ijk表示某图像j行k列的图像块的Lab颜色坐标向量。

       图像块大小d，混合函数的宽度s的确定过程：

       1. 将参数设置为一些猜测值；

       2. 确定每个图像中的块的熵，选择熵最高的块；

       3. 求步骤2中选择的块混合得到的图像的熵；

       4. 在梯度上升方向上，增加或减少d和s，并重复步骤2和3，直到达到最大熵。

        文献阅读笔记的翻译来自于： 学霸视界（xbsj.cool）