【I3D 2024】Deblur-GS: 3D Gaussian Splatting from Camera Motion Blurred Images

1. 李群与李代数

参考博客：视觉 SLAM 十四讲 - 李群与李代数。

2. 相机运动模糊建模

运动模糊产生的原因是：相机在曝光期间捕捉到了移动的物体或自身发生了移动，导致场景中某些像素在成像过程中不是来自单一点，而是多个位置的光线的混合。

假设在时间 $[t_0,t_0+T]$，我们拍摄了一组图像序列 { I k } k = 1 n \{I_k\}_{k = 1}^{n} {Ik​}k=1n​，则模糊图像可以使用下述公式建模：
$$I_{\text{blur}}=\frac{1}{T}{\int }_{t_0}^{t_0+T}{I}_k(x,y)dt\approx \sum _{k=1}^n{w}_k\cdot I_k(x,y),\sum _{k=1}^n{w}_k=1$$真实模糊图很难获取其对应的清晰中间帧。因此，我们通过模拟真实相机在曝光时间内的光线积分过程，对图像序列按时间进行加权平均，得到一张模糊图像，即合成模糊图 = 模拟曝光下图像形成过程。

3. 相机运动轨迹近似

相机在曝光期间可沿任意光滑路径移动。为近似这一运动，论文分别采用线性插值、三次样条插值和K阶贝塞尔曲线进行建模。​

3.1. 线性插值

鉴于快门时间通常较短且相机运动的幅度相对较小，线性插值在大多数情况下通常足够适用。假设相机曝光时间为 $\tau$，曝光开始时的位姿为 ${\mathbf{T}}_0$，曝光结束时的位姿为 ${\mathbf{T}}_1$，则时刻 $t\in [0,\tau ]$ 的位姿如下：
$${\mathbf{T}}_t={\mathbf{T}}_0\cdot \exp (\frac{t}{\tau }\log ({\mathbf{T}}_0^{-1}\cdot {\mathbf{T}}_1))$$上述公式描述了从初始位姿 ${\mathbf{T}}_0$ 到目标位姿 ${\mathbf{T}}_1$ 的平滑插值路径。

在 $SE(3)$ 群中，直接对位姿矩阵 $\mathbf{T}$ 进行欧几里得线性插值（例如，${\mathbf{T}}_t=(1-\frac{t}{\tau }){\mathbf{T}}_0+\frac{t}{\tau }{\mathbf{T}}_1$）会破坏群结构（例如，旋转矩阵可能不再正交）。为此，​​实际应用中需要​​把​​位姿矩阵转换为李代数​​元素​​，进行线性插值​​后​​，再通过指数映射​​回李群​​，以确保结果始终是有效的位姿矩阵。

首先，计算位姿 ${\mathbf{T}}_0$ 到 ${\mathbf{T}}_1$ 的相对位姿为 $\Delta \mathbf{T}={\mathbf{T}}_0^{-1}{\mathbf{T}}_1\in SE(3)$。值得注意的是，增量变换 $\Delta \mathbf{T}$ 在相机处于位姿 ${\mathbf{T}}_0$ 时的局部坐标系中定义，因此新位姿 ${\mathbf{T}}_1$ 的计算需使用右乘法则：${\mathbf{T}}_1={\mathbf{T}}_0\Delta \mathbf{T}$，参考博客：机器人位姿变换的坐标系相对性：左乘法则与右乘法则解析​。

其次，对 $\Delta \mathbf{T}$ 取对数映射到李代数元素，即有 $\mathbf{\xi }=\log (\Delta \mathbf{T})\in se(3)$。

然后，在李代数中进行线性插值。对于任意时间 $t$，线性插值为：${\mathbf{\xi }}_t=\frac{t}{\tau }\mathbf{\xi }$。

最后，将插值结果通过指数映射回李群，即有 $\exp ({\mathbf{\xi }}_t)=\exp (\frac{t}{\tau }\log ({\mathbf{T}}_0^{-1}{\mathbf{T}}_1))$，最终的时刻 $t$ 的位姿矩阵 ${\mathbf{T}}_t$ 为：
$${\mathbf{T}}_t={\mathbf{T}}_0\cdot \exp (\frac{t}{\tau }\log ({\mathbf{T}}_0^{-1}\cdot {\mathbf{T}}_1))$$

3.2. 三次样条插值

三次样条插值(Cubic Spline Interpolation)是一种常用的数值插值方法，用于在一组数据点之间构造一条平滑曲线。它的核心思想是：在每两个相邻的数据点之间用一个三次多项式段来拟合，保证整条曲线在每个节点处一阶和二阶导数连续，从而构建一条光滑的整体曲线。

给定 $n+1$ 个数据点：
$$(x_0,y_0),(x_1,y_1),\cdots ,(x_n,y_n),x_0<x_1<\cdots <x_n$$我们希望在每个区间 $[x_i,x_{i+1}]$ 上，构造一个三次多项式 $S_i(x)$：
$$S_i(x)=a_i+b_i(x-x_i)+c_i(x-x_i{)}^2+d_i(x-x_i{)}^3$$使得这 $n$ 个多项式段拼接成一条"光滑"的插值曲线。

在论文中 $u=\frac{t}{\tau }\in [0,1]$，相当于上述的 $x-x_i$，那么三次样条插值可以表述为：
$$\{\begin{array}{l}\tilde{\mathbf{B}}(u)=\mathbf{C}\left[\begin{array}{c}1\\ u\\ u^2\\ u^3\end{array}\right],\mathbf{C}=\frac{1}{6}\left[\begin{array}{cccc}6& 0& 0& 0\\ 5& 3& -3& 1\\ 1& 3& 3& -2\\ 0& 0& 0& 1\end{array}\right]\\ \\ \mathbf{T}(u(t))={\mathbf{T}}_0{\prod }_{j=0}^2\exp \left({\tilde{\mathbf{B}}}_{j+1}(u(t))\cdot {\mathbf{\Omega }}_j\right)\\ \\ {\mathbf{\Omega }}_i=\log \left({\mathbf{T}}_{i-1}^{-1}\cdot {\mathbf{T}}_i\right)\end{array}$$其中：

• $\mathbf{T}(u(t))$ 表示 $t$ 时刻的相机位姿的插值结果
• ${\mathbf{\Omega }}_i$ 表示位姿 ${\mathbf{T}}_{i-1}$ 到 ${\mathbf{T}}_i$ 的相对位姿，并且通过对数映射将李群元素转换到李代数空间

$\tilde{\mathbf{B}}(u)={\left[{\tilde{B}}_0(u),{\tilde{B}}_1(u),{\tilde{B}}_2(u),{\tilde{B}}_3(u)\right]}^T$ 为 4 维向量，具体而言：$$\{\begin{array}{l}{\tilde{B}}_0(u)=1\\ \\ {\tilde{B}}_1(u)=\frac{1}{6}(5+3u-3u^2+u^3)\\ \\ {\tilde{B}}_2(u)=\frac{1}{6}(1+3u+3u^2-2u^3)\\ \\ {\tilde{B}}_3(u)=\frac{1}{6}{u}^3\end{array}$$$\mathbf{T}(u)$ 的数学表达式如下：$$\begin{array}{c}\mathbf{T}(u)={\mathbf{T}}_0\cdot \underset{\text{T0→T1 路径}}{\underbrace{\exp ({\tilde{B}}_1{\mathbf{\Omega }}_0)}}\cdot \underset{\text{T1→T2 路径}}{\underbrace{\exp ({\tilde{B}}_2{\mathbf{\Omega }}_1)}}\cdot \underset{\text{T2→T3 路径}}{\underbrace{\exp ({\tilde{B}}_3{\mathbf{\Omega }}_2)}}\end{array}$$其中：
$$\begin{array}{rl}{\mathbf{\Omega }}_0& =\log ({\mathbf{T}}_0^{-1}{\mathbf{T}}_1)\\ {\mathbf{\Omega }}_1& =\log ({\mathbf{T}}_1^{-1}{\mathbf{T}}_2)\\ {\mathbf{\Omega }}_2& =\log ({\mathbf{T}}_2^{-1}{\mathbf{T}}_3)\end{array}$$值得注意的是：${\tilde{B}}_0$ 无对应运动：因为控制点序列从 ${\mathbf{T}}_0$ 开始，没有 ${\mathbf{T}}_{-1}\to {\mathbf{T}}_0$ 的运动可编码。

3.3. K 阶贝塞尔曲线插值

对于 $K$ 阶贝塞尔曲线，我们需要 $K+1$ 个控制点 ${\mathbf{T}}_i(i=1,2,\cdots ,K+1)$。

在欧氏空间 ${\mathbb{R}}^n$ 中，$K$ 阶 Bézier 曲线为：
$$x(u)=\sum _{i=0}^K{B}_i^K(u)\cdot x_i=\sum _{i=0}^K\left(\genfrac{}{}{0ex}{}{K}{i}\right)(1-u{)}^{K-i}{u}^i\cdot x_i$$为了将 Bézier 插值推广到 $SE(3)$，我们需要对每个控制点 ${\mathbf{T}}_i\in SE(3)$ 映射到李代数：
$${\mathbf{\xi }}_i=\log ({\mathbf{T}}_i)\in se(3)$$使用 Bézier 权重在李代数空间中构造组合项：
$${\mathbf{\eta }}_i=B_i^K(u)\cdot {\mathbf{\xi }}_i=\left(\genfrac{}{}{0ex}{}{K}{i}\right)(1-u{)}^{K-i}{u}^i\cdot \log ({\mathbf{T}}_i)$$则 $K$ 阶贝塞尔曲线插值的结果为：
$$\mathbf{\eta }=\sum _{i=0}^K{\mathbf{\eta }}_i=\sum _{i=0}^K\left(\genfrac{}{}{0ex}{}{K}{i}\right)(1-u{)}^{K-i}{u}^i\cdot \log ({\mathbf{T}}_i)$$将插值结果通过指数映射回 $SE(3)$ 有：
$${\mathbf{T}}_t=\exp (\mathbf{\eta })=\exp \left(\sum _{i=0}^K\left(\genfrac{}{}{0ex}{}{K}{i}\right)(1-u{)}^{K-i}{u}^i\cdot \log ({\mathbf{T}}_i)\right)=\prod _{i=0}^K\exp \left(\left(\genfrac{}{}{0ex}{}{K}{i}\right)(1-u{)}^{K-i}{u}^i\cdot \log ({\mathbf{T}}_i)\right)$$值得注意的是：${\mathbf{T}}_t$ 相对于 ${\mathbf{T}}_i$ 是可微分的，从而​​可以通过优化 ${\mathbf{T}}_i$ 来优化​​其运动模糊效果​​。