数据集和数据加载器
通常，随着代码量或开发时长的提高，代码中处理数据样本的代码可能会变得混乱且难以维护。
理想情况下，我们希望我们的数据集代码与模型训练代码分离，以获得更好的易读性和模块化。
PyTorch提供了两个数据原语：torch.utils.data.Dataset和torch.utils.data.DataLoader允许您使用预加载的数据集以及您自己的数据。
Dataset存储样本及其相应的标签，DataLoader在Dataset周围包装了一个可迭代的数据集，以便轻松访问样本。
PyTorch域库提供了许多预加载的数据集（如时尚MNIST），子类torch.utils.data.Dataset并实现特定于特定数据的函数。它们可用于原型化和基准测试您的模型。您可以在此处找到它们：图像数据集、文本数据集和音频数据集
加载数据集
以下示例展示了如何从TorchVision.Fashion加载时尚-MNIST数据集的示例-MNIST是Zalando文章图像的数据集，由60,000个训练示例和10,000个测试示例组成。每个示例包括一个28×28灰度图像和来自10个类之一的相关标签。
我们使用以下参数加载时尚MNIST数据集：
root是存储训练/测试数据的路径，train指定训练或测试数据集，download=True如果数据在root不可用，则从Internet下载数据。transform和target_transform指定特征和标签转换
import torch
from torch.utils.data import Dataset
from torchvision import datasets
from torchvision.transforms import ToTensor
import matplotlib.pyplot as plt
training_data = datasets.FashionMNIST(
root="data",
train=True,
download=True,
transform=ToTensor()
)
test_data = datasets.FashionMNIST(
root="data",
train=False,
download=True,
transform=ToTensor()
)
迭代和可视化数据集
我们可以像列表一样手动索引，例如Datasets：training_data[index]。
现在我们使用matplotlib来可视化训练数据中的一些样本：
labels_map = {
0: "T-Shirt",
1: "Trouser",
2: "Pullover",
3: "Dress",
4: "Coat",
5: "Sandal",
6: "Shirt",
7: "Sneaker",
8: "Bag",
9: "Ankle Boot",
}
figure = plt.figure(figsize=(8, 8))
cols, rows = 3, 3
for i in range(1, cols * rows + 1):
sample_idx = torch.randint(len(training_data), size=(1,)).item()
img, label = training_data[sample_idx]
figure.add_subplot(rows, cols, i)
plt.title(labels_map[label])
plt.axis("off")
plt.imshow(img.squeeze(), cmap="gray")
plt.show()
这段代码的输出应该是一个随机的图片展示。
关键代码
for i in range(1, cols * rows + 1):
sample_idx = torch.randint(len(training_data), size=(1,)).item()
img, label = training_data[sample_idx]
...
torch.randint函数：torch.randint是 PyTorch 里用于生成随机整数的函数。它的功能是从指定的范围中随机选取整数。- 在此代码中，
torch.randint(len(training_data), size=(1,))的作用是生成一个大小为(1,)的张量，张量里的元素是从0到len(training_data) - 1这个范围内随机选取的整数。len(training_data)代表的是训练数据集里样本的总数。 - 比如，
FashionMNIST训练数据集有 60000 个样本，那么torch.randint(len(training_data), size=(1,))就会生成一个取值范围在0到59999之间的随机整数。
.item()方法：.item()方法的作用是把包含单个元素的张量转换为 Python 的标量值。在代码里，sample_idx = torch.randint(len(training_data), size=(1,)).item()这行代码会把生成的随机整数张量转换为一个 Python 整数，这个整数就可以当作索引来使用。
随机选取样本：
img, label = training_data[sample_idx]这行代码会依据随机生成的索引sample_idx从训练数据集中选取一个样本。由于每次运行时sample_idx都是随机生成的，所以每次选取的样本也都是随机的。
为您的文件创建自定义数据集
自定义Dataset类必须实现三个函数： __init__, __len__ 和 __getitem__。
看看这个实现；时尚MNIST图像存储在目录img_dir中，它们的标签单独存储在CSV文件annotations_file中。
在下一节中，我们将分解这些函数中发生的事情。
import os
import pandas as pd
from torchvision.io import read_image
class CustomImageDataset(Dataset):
def __init__(self, annotations_file, img_dir, transform=None, target_transform=None):
self.img_labels = pd.read_csv(annotations_file)
self.img_dir = img_dir
self.transform = transform
self.target_transform = target_transform
def __len__(self):
return len(self.img_labels)
def __getitem__(self, idx):
img_path = os.path.join(self.img_dir, self.img_labels.iloc[idx, 0])
image = read_image(img_path)
label = self.img_labels.iloc[idx, 1]
if self.transform:
image = self.transform(image)
if self.target_transform:
label = self.target_transform(label)
return image, label
__init__函数在实例化Dataset对象时运行一次。我们初始化的目录包含图像、注释文件和两个转换（将在下一节中详细介绍）。
labels. csv文件如下所示：
tshirt1.jpg, 0
tshirt2.jpg, 0
......
ankleboot999.jpg, 9
__len__函数返回数据集中的样本数。_getitem__函数从给定索引idx处的数据集中加载并返回一个样本。根据索引，它识别图像在磁盘上的位置，使用read_image将其转换为张量，从self.img_labels中的csv数据中检索相应的标签，调用转换函数（如果适用），并以元组形式返回传感器图像和相应的标签。
准备数据以使用DataLoaders进行训练
Dataset一次检索我们数据集的特征并标记一个样本。在训练模型时，我们通常希望在“小批量”中增加样本，在每个时期重新洗牌数据以减少模型过度拟合，并使用Python的multiprocessing加速数据检索。
DataLoader是可迭代的，它在一个简单的API中为我们抽象了这种复杂性。
from torch.utils.data import DataLoader
train_dataloader = DataLoader(training_data, batch_size=64, shuffle=True)
test_dataloader = DataLoader(test_data, batch_size=64, shuffle=True)
遍历DataLoader
我们已经将该数据集加载到DataLoader中，并且可以根据需要遍历数据集。下面的每次迭代都返回一批train_features和train_labels（分别包含batch_size=64特征和标签）。因为我们指定了shuffle=True，所以在我们遍历所有批次后，数据会被打乱（为了对数据加载顺序进行更细粒度的控制，请查看Samplers）。
# 完整示例
import torch
from torch.utils.data import Dataset
from torchvision import datasets
from torchvision.transforms import ToTensor
import matplotlib.pyplot as plt
from torch.utils.data import DataLoader
training_data = datasets.FashionMNIST(
root="data",
train=True,
download=True,
transform=ToTensor()
)
test_data = datasets.FashionMNIST(
root="data",
train=False,
download=True,
transform=ToTensor()
)
train_dataloader = DataLoader(training_data, batch_size=64, shuffle=True)
test_dataloader = DataLoader(test_data, batch_size=64, shuffle=True)
# Display image and label.
train_features, train_labels = next(iter(train_dataloader))
print(f"Feature batch shape: {train_features.size()}")
print(f"Labels batch shape: {train_labels.size()}")
img = train_features[0].squeeze()
label = train_labels[0]
plt.imshow(img, cmap="gray")
plt.show()
print(f"Label: {label}")
上面的代码会随机输出一张图片，特征批次形状和标签批次形状。
- 图片随机的原因
DataLoader中的shuffle参数：
在代码中，创建train_dataloader和test_dataloader时，DataLoader的shuffle参数被设置为True。
train_dataloader = DataLoader(training_data, batch_size=64, shuffle=True)
test_dataloader = DataLoader(test_data, batch_size=64, shuffle=True)
DataLoader 是 PyTorch 中用于加载数据的工具，shuffle=True 表示在每次迭代（epoch）时，都会对数据集中的样本顺序进行随机打乱。也就是说，每次获取数据批次时，其中包含的样本都是不同的，因为样本的顺序被随机化了。
- 获取数据的方式：
train_features, train_labels = next(iter(train_dataloader))
这里使用 next(iter(train_dataloader)) 从 train_dataloader 中获取一个批次的数据。由于数据批次中的样本是随机打乱的，所以每次运行代码时，获取到的第一个样本（代码中 train_features[0] 和 train_labels[0] 对应的样本）也是随机的，进而展示的图片也是随机的。
特征批次形状（
Feature batch shape）
train_features是从DataLoader里获取的一个批次的图像特征数据。train_features.size()返回的是这个批次特征数据的形状，它是一个torch.Size对象，用元组形式呈现每个维度的大小。在代码里，
train_dataloader的batch_size设定为 64，这意味着每个批次包含 64 个样本。FashionMNIST数据集里的图像是单通道（灰度图）的 28x28 像素图像。所以，train_features的形状一般是(64, 1, 28, 28)，具体解释如下：- 第一个维度（索引为 0）：
64代表批次大小，也就是这个批次里包含 64 张图像。 - 第二个维度（索引为 1）：
1代表图像的通道数，灰度图只有 1 个通道。 - 第三个维度（索引为 2）：
28代表图像的高度，即图像的高度是 28 像素。 - 第四个维度（索引为 3）：
28代表图像的宽度，即图像的宽度是 28 像素。
- 第一个维度（索引为 0）：
标签批次形状（
Labels batch shape）
train_labels是与train_features对应的标签数据。train_labels.size()返回的是这个批次标签数据的形状。由于每个图像样本都有一个对应的标签，且batch_size为 64，所以train_labels的形状通常是(64,)，这表明这个批次里有 64 个标签，每个标签对应一个图像样本。
输出：
