计算机视觉——相机标定

一、像素坐标系、图像坐标系、相机坐标系、世界坐标系

1. 像素坐标系：数字图像在计算机内为 $M\times N$ 的数组，其中每个元素（称为像素）的数值即是图像点的亮度（或称为灰度，彩色图像对应的为RGB）。在图像上定义直角坐标系 $u,v$，每一个像素的坐标 $(u,v)$ 分别是该像素在数组中的列数与行数。
2. 图像坐标系：以图像内某一点 $O_1$ 为原点，$x$ 轴与 $y$ 轴分别与 $u,v$轴平行，该坐标系中，原点 $O_1$ 定义在相机光轴与图像平面的交点，该点一般位于图像中心处。

图1 像素坐标系与图像坐标系

3. 相机坐标系：如图所示，其中 $O$ 点称为相机光心，$X_c$ 轴和 $Y_c$ 轴与图像的 $x$ 轴与 $y$ 轴平行，$Z_c$ 轴为相机的光轴，它与图像平面垂直。光轴与图像平面的交点，即为图像物理坐标系的原点，由点 $O$ 与 $X_c,Y_c,Z_c$ 轴组成的直角坐标系称为相机坐标系。$O{O}_1$ 为相机焦距。
4. 世界坐标系：由于相机可安放在环境中的任意位置，我们在环境中还需选择一个基准坐标系来描述相机的位置，并用它描述环境中任意物体的位置，该坐标系称为世界坐标系。它由 $X_w,Y_w,Z_w$ 轴组成。

图2 相机坐标系与世界坐标系

二、坐标系变换

图像坐标系 → 像素坐标系

如图1所示，若 $O_1$ 在 $u,v$ 坐标系中的坐标为 $(u_0,v_0)$，每个像素在 $x$ 轴与 $y$ 轴方向上的物理尺寸为 $dx,dy$，单位：毫米（mm），则图像中任意一个像素在两个坐标系下的坐标有如下关系：
$$\begin{array}{rl}u& =\frac{x}{dx}+u_0\\ v& =\frac{y}{dy}+v_0\end{array}\text{\hspace{1em}(1)}$$

写成矩阵的形式：

$$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]⟺\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}dx& 0& -u_{0}dx\\ 0& dy& -v_{0}dy\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]\text{\hspace{1em}(2)}$$

相机坐标系 → 图像坐标系

如图2所示，相机坐标系中的点 $(X_c,Y_c,Z_c)$投影到图像坐标系中的点为 $(x,y)$。根据相似三角形原理可以得到如下关系式：
$$\begin{array}{r}x=\frac{f{X}_c}{Z_c}，y=\frac{f{Y}_c}{Z_c}\end{array}\text{\hspace{1em}(3)}$$

写成矩阵的形式：
$$Z_c\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]\text{\hspace{1em}(4)}$$

世界坐标系 → 相机坐标系

相机坐标系与世界坐标系之间的关系可以用旋转矩阵 $R$ 与平移向量 $t$ 来描述。因此，若空间中某一点 $P$ 在世界坐标系与相机坐标系下的坐标分别为 $(X_w,Y_w,Z_w,1{)}^T$ 与 $(X_c,Y_c,Z_c,1{)}^T$，于是存在如下关系：
$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=M_1\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]\text{\hspace{1em}(5)}$$

其中，$R$ 为 $3\times 3$ 单位正交矩阵，$t$ 为三维平移向量，$0=(0,0,0{)}^T$，$M_1$ 为 $4\times 4$ 矩阵。

$\star$ 世界坐标系 → 像素坐标系

联立式 $(2),(4),(5)$，消去 $(x,y,1{)}^T,(X_c,Y_c,Z_c,1{)}^T$，有，
$$\begin{array}{rl}{Z}_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]& =\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]\\ & =\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]\\ & =M_1{M}_2\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]\\ & =M\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]\end{array}\text{\hspace{1em}(6)}$$

其中，$a_x=\frac{f}{dx},a_y=\frac{f}{dy}$， 由于 $a_x,a_y,u_0,v_0$ 只与相机内部结构有关，因此称 $M_1$ 为相机的内参矩阵；而 $M_2$ 完全由相机相对于世界坐标系的方位决定，因此称为相机的外参矩阵；称 $M$ 为投影矩阵。

三、相机标定

确定某一相机的内外参矩阵，称为相机标定。

将式 $(6)$ 写成
$$Z_{ci}\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}{X}_{wi}\\ Y_{wi}\\ Z_{wi}\\ 1\end{array}\right]\text{\hspace{1em}(7)}$$

其中，$(X_{wi},Y_{wi},Z_{wi},1)$ 为空间中第 $i$ 个点的世界坐标；$(u_i,v_i,1)$ 为对应的像素坐标。式 $(7)$ 包含三个方程：
$$\begin{array}{rl}{Z}_{ci}{u}_i& =m_{11}{X}_{wi}+m_{12}{Y}_{wi}+m_{13}{Z}_{wi}+m_{14}\\ Z_{ci}{v}_i& =m_{21}{X}_{wi}+m_{22}{Y}_{wi}+m_{23}{Z}_{wi}+m_{24}\\ Z_{ci}& =m_{31}{X}_{wi}+m_{32}{Y}_{wi}+m_{33}{Z}_{wi}+m_{34}\end{array}\text{\hspace{1em}(8)}$$

将式 $(8)$ 中的第一式减去 $u_i$ 乘第三式，第二式减去 $v_i$ 乘第三式，分别消去 $Z_{ci}$ 后，可得如下线性方程：
$$\begin{array}{rl}{X}_{wi}{m}_{11}+Y_{wi}{m}_{12}+Z_{wi}{m}_{13}+m_{14}-u_i{X}_{wi}{m}_{31}-u_i{Y}_{wi}{m}_{32}-u_i{Z}_{wi}{m}_{33}-u_i{m}_{34}& =0\\ X_{wi}{m}_{21}+Y_{wi}{m}_{22}+Z_{wi}{m}_{23}+m_{24}-v_i{X}_{wi}{m}_{31}-v_i{Y}_{wi}{m}_{32}-v_i{Z}_{wi}{m}_{33}-v_i{m}_{34}& =0\end{array}\text{\hspace{1em}(9)}$$

上式表示，若已知 $n$ 个点的世界坐标 $(X_{wi},Y_{wi},Z_{wi})$，与它们的像素坐标 $(u_i,v_i)$，则我们有 $2n$ 个关于投影矩阵 $M$ 元素的线性方程。

由此可见，由空间6个以上点的世界坐标与对应的像素坐标，我们可求出投影矩阵 $M$。在一般的标定中，我们都有数十个已知点，使方程的个数远超未知数的个数，从而用最小二乘法求解以降低误差造成的影响。