【图像处理3D】：焦距的像素单位标定

一、焦距的物理意义与数学表达

1. 物理焦距（毫米单位）

在传统光学中，焦距（f）是指镜头光心到成像平面（传感器）的距离，单位通常为毫米（mm）。例如，手机摄像头的焦距可能为5mm，而单反相机长焦镜头的焦距可达200mm。焦距越长，视角越窄，物体在图像中显得越大。

2. 像素单位焦距的转换

在计算机视觉中，我们需要将物理焦距转换为像素单位，以便与图像像素坐标进行运算。这一转换通过以下公式实现：

3. 小孔成像模型与成像公式

像素单位焦距在小孔成像模型中尤为重要。该模型描述了三维空间中的点 ( P(X, Y, Z) ) 如何投影到图像平面上的像素点 ( p(u, v) )：

参考：【图像处理3D】：世界坐标系

二、焦距标定的方法与工具

1. 为什么需要标定？

• 不同摄像头的焦距不同，即使同一型号的摄像头也可能存在制造误差。
• 镜头畸变（如径向畸变）会导致实际成像与理想小孔模型存在偏差，需通过标定校正。

2. 常用标定方法

• 张正友标定法：
  使用棋盘格标定板，从不同角度拍摄多张图像，通过角点检测和最小化重投影误差求解相机内参（包括焦距 ( f_x, f_y )、主点 ( c_x, c_y ) 和畸变系数）。
  • OpenCV实现：

    import cv2
    import numpy as np
    
    # 准备标定板角点坐标
    objp = np.zeros((6*7, 3), np.float32)
    objp[:, :2] = np.mgrid[0:7, 0:6].T.reshape(-1, 2)
    
    # 存储对象点和图像点的数组
    objpoints = []  # 3D点
    imgpoints = []  # 2D点
    
    # 加载图像并检测角点
    img = cv2.imread('calibration_image.jpg')
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    ret, corners = cv2.findChessboardCorners(gray, (7, 6), None)
    
    if ret:
        objpoints.append(objp)
        corners2 = cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria)
        imgpoints.append(corners2)
    
    # 标定相机
    ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)
    # mtx 即为相机内参矩阵，其中 mtx[0, 0] 和 mtx[1, 1] 分别为 fx 和 fy
    

• 自标定方法：
  在未知场景中，通过分析视频序列中的运动（如光流）或场景中的几何约束（如平行线）估计焦距。

3. 标定工具

• OpenCV：提供calibrateCamera函数，支持棋盘格、圆形标定板等。
• Matlab Camera Calibrator：图形界面工具，操作简单，适合初学者。
• Kalibr：ROS环境下的多传感器标定工具，支持相机-IMU联合标定。

三、像素单位焦距在深度估计中的应用

1. 基于物体大小的深度计算

在单目深度估计中，若已知物体的实际高度 ( H ) 和图像中的像素高度 ( h )，可通过以下公式计算距离 ( Z )：

2. 双目视觉中的深度计算

两个相机的光圈中心都位于 x 轴上。它们的距离称为双目相机的基线（Baseline, 记作 b），是双目的重要参数；
d 为左右图的横坐标之差，称为视差（Disparity）

在双目相机系统中，像素单位焦距用于计算视差（disparity）与深度的关系：

3. 深度学习中的应用

在基于深度学习的单目深度估计中，虽然网络可直接预测深度图，但某些方法（如MonoDepth2）仍会利用标定的内参矩阵增强几何约束，提高深度预测的尺度一致性。

四、常见问题与注意事项

1. 焦距与视角的关系

• 短焦距（如手机相机）对应广角镜头，视角大，适合拍摄风景。
• 长焦距（如长焦相机）对应窄视角，适合拍摄远处物体（如野生动物）。
• 在标定中，焦距与图像宽度的比值决定了相机的水平视角：
  

2. 径向畸变的影响

• 鱼眼镜头或广角镜头会引入明显的径向畸变，导致边缘区域的像素位置偏离理想模型。
• 标定时需同时估计畸变系数（如k1, k2, p1, p2），并使用undistort函数校正图像。

3. 标定精度对深度估计的影响

• 焦距误差直接导致深度计算误差（如焦距高估10%，深度也会高估10%）。
• 建议使用至少10张不同角度的标定图像，以提高标定精度。

五、总结

像素单位焦距是连接三维物理世界与二维图像的关键参数，它使我们能够通过成像公式将像素尺寸转换为真实世界的距离。在单目深度估计中，准确标定焦距是实现基于几何方法（如物体大小、运动视差）的前提条件。对于深度学习方法，虽然网络可学习隐式的深度关系，但标定内参仍有助于提升尺度一致性和跨场景泛化能力。