从代码学习深度学习 - 语义分割和数据集 PyTorch版

前言

大家好！欢迎来到“从代码学习深度学习”系列。今天，我们将深入探讨计算机视觉中一个非常重要且有趣的任务——语义分割。语义分割的目标是将图像中的每个像素分配给一个特定的类别，从而实现对图像内容的像素级理解。这与目标检测（仅识别物体边界框）和图像分类（对整个图像进行单一标记）不同，语义分割提供了更精细的场景理解。

在本篇博客中，我们将：

1. 理解什么是语义分割，以及它与图像分割和实例分割的区别。
2. 详细了解一个经典的语义分割数据集——Pascal VOC2012。
3. 通过 PyTorch 代码学习如何读取、预处理和加载这个数据集，为后续的模型训练打下坚实的基础。

让我们开始吧！

完整代码：下载链接

什么是语义分割？

语义分割（semantic segmentation）问题重点关注于如何将图像分割成属于不同语义类别的区域。与目标检测不同，语义分割可以识别并理解图像中每一个像素的内容：其语义区域的标注和预测是像素级的。下图展示了语义分割中图像有关狗、猫和背景的标签。与目标检测相比，语义分割标注的像素级的边框显然更加精细。

图像分割和实例分割

图像分割将图像划分为若干组成区域，这类问题的方法通常利用图像中像素之间的相关性。它在训练时不需要有关图像像素的标签信息，在预测时也无法保证分割出的区域具有我们希望得到的语义。以上图中的图像作为输入，图像分割可能会将狗分为两个区域：一个覆盖以黑色为主的嘴和眼睛，另一个覆盖以黄色为主的其余部分身体。

实例分割也叫同时检测并分割（simultaneous detection and segmentation），它研究如何识别图像中各个目标实例的像素级区域。与语义分割不同，实例分割不仅需要区分语义，还要区分不同的目标实例。例如，如果图像中有两条狗，则实例分割需要区分像素属于的两条狗中的哪一条。

Pascal VOC2012 语义分割数据集

Pascal VOC2012 语义分割数据集介绍

Pascal VOC2012 (Visual Object Classes) 是计算机视觉领域中最经典和广泛使用的数据集之一，特别在语义分割 (Semantic Segmentation) 任务中具有重要地位。

基本信息

• 全称：PASCAL Visual Object Classes Challenge 2012
• 发布机构：由英国牛津大学、微软剑桥研究院等机构联合发起
• 主要任务：目标检测、语义分割、分类等

语义分割部分特点

• 图像数量：
  • 训练集：1,464张图像
  • 验证集：1,449张图像
  • 测试集：1,456张图像 (标签非公开)
  • 总共包含11,540个可分割对象
• 类别：共21个类别，包括20个前景对象类别和1个背景类别：
  • 背景 (background)
  • 人 (person)
  • 动物 (bird, cat, cow, dog, horse, sheep)
  • 交通工具 (airplane, bicycle, boat, bus, car, motorbike, train)
  • 室内物品 (bottle, chair, dining table, potted plant, sofa, tv/monitor)

数据格式

• 图像：标准JPG格式
• 分割标注：PNG格式的标签图，每个像素值对应一个类别索引
• 目录结构：
  • JPEGImages：存放原始图像
  • SegmentationClass：存放语义分割标签,标签也采用图像格式，其尺寸和它所标注的输入图像的尺寸相同。 此外，标签中颜色相同的像素属于同一个语义类别
  • ImageSets/Segmentation：存放训练、验证和测试集的图像名称列表

评价指标

Pascal VOC2012使用的主要评价指标是平均交并比(mean Intersection over Union, mIoU)，计算方式为：

• 对每个类别计算IoU(真实区域与预测区域的交集除以并集)
• 计算所有类别IoU的平均值

应用价值

1. 基准测试：作为评估分割算法性能的重要基准
2. 算法开发：FCN、DeepLab、PSPNet等经典分割网络都在此数据集上进行了测试
3. 学术研究：大量语义分割相关论文都使用此数据集进行实验验证
4. 预训练模型：常用于训练可迁移到其他任务的基础模型

数据集获取

可以从Pascal VOC官方网站下载完整数据集：http://host.robots.ox.ac.uk/pascal/VOC/voc2012/

使用提示

• 由于原始训练集较小，研究中通常会使用扩展版本SBD(Semantic Boundaries Dataset)，将训练样本增加到约10,000张
• 难点在于物体边界的精确分割以及不同类别之间的区分
• 适合入门语义分割任务的学习和研究

Pascal VOC2012是计算机视觉领域的经典数据集，尽管发布已有多年，但仍然是评估分割算法性能的重要标准之一。

辅助工具代码 (utils_for_huitu.py)

为了方便地显示图像，我们通常会使用一些辅助函数。以下是 utils_for_huitu.py 文件的内容，它提供了一个 show_images 函数。

# 导入必要的包
import matplotlib.pyplot as plt  # 用于创建和操作 Matplotlib 图表
from matplotlib_inline import backend_inline  # 用于设置 Jupyter 中的显示格式
from IPython import display  # 用于在 Jupyter 中实现动态显示功能
import torch

def show_images(imgs, num_rows, num_cols, titles=None, scale=1.5):
    """绘制图像列表
    
    参数:
        imgs: 要显示的图像列表
        num_rows: 行数
        num_cols: 列数
        titles: 每张图像的标题，默认为None
        scale: 图像缩放比例，默认为1.5
        
    返回:
        matplotlib的轴对象列表
    """
    # 计算图像尺寸，根据行列数和缩放比例确定
    figsize = (num_cols * scale, num_rows * scale)
    # 创建子图
    fig, axes = plt.subplots(num_rows, num_cols, figsize=figsize)
    # 将axes数组展平成一维数组，方便遍历
    axes = axes.flatten()
    
    # 遍历每个图像和对应的轴对象
    for i, (ax, img) in enumerate(zip(axes, imgs)):
        if torch.is_tensor(img):
            # 处理PyTorch张量类型的图像，需要转换为NumPy数组
            ax.imshow(img.numpy())
        else:
            # 处理PIL图像或其他类型的图像
            ax.imshow(img)
        # 隐藏x轴刻度和标签
        ax.axes.get_xaxis().set_visible(False)
        # 隐藏y轴刻度和标签
        ax.axes.get_yaxis().set_visible(False)
        
        # 如果提供了标题，则设置对应图像的标题
        if titles:
            ax.set_title(titles[i])
    
    # 返回轴对象列表，方便后续自定义处理
    return axes

读取数据

我们首先编写一个函数 read_voc_images 来读取Pascal VOC2012数据集的图像和对应的语义分割标签。

import os
import torch
import torchvision

def read_voc_images(voc_dir, is_train=True):
    """
    读取Pascal VOC2012数据集的图像和对应的语义分割标签
    
    参数:
    voc_dir (str): VOC数据集根目录路径
    is_train (bool): 是否读取训练集数据，True表示读取训练集，False表示读取验证集
    
    返回:
    tuple: (features, labels)
        - features (list): 包含所有图像张量的列表，每个张量形状为[3, H, W]
        - labels (list): 包含所有标签张量的列表，每个张量形状为[1, H, W]
    """
    # 确定读取训练集还是验证集的文件列表
    txt_fname = os.path.join(voc_dir, 'ImageSets', 'Segmentation',
                            'train.txt' if is_train else 'val.txt')
    
    # 设置读取模式为RGB (使用torchvision的常量)
    mode = torchvision.io.image.ImageReadMode.RGB
    
    # 从文本文件中读取图像文件名列表
    with open(txt_fname, 'r') as f:
        images = f.read().split()  # 列表，每个元素是不带扩展名的图像文件名
    
    # 初始化特征(图像)和标签(分割掩码)列表
    features = []  # 将存储图像张量，每个张量形状为[3, H, W]
    labels = []    # 将存储标签张量，每个张量形状为[1, H, W]
    
    # 遍历所有图像文件名并读取对应的图像和标签
    for i, fname in enumerate(images):
        # 读取原始图像，形状为[3, H, W]，值范围为0-255的整数
        image_path = os.path.join(voc_dir, 'JPEGImages', f'{
     fname}.jpg')
        image_tensor = torchvision.io.read_image(image_path)
        features.append(image_tensor)
        
        # 读取语义分割标签，形状为[3, H, W]，值范围为0-255的整数
        label_path = os.path.join(voc_dir, 'SegmentationClass', f'{
     fname}.png')
        label_tensor =