看到load_data_fashion_mnist这个函数名很多刚开始接触深度学习的人第一反应是不就是一个数据加载函数吗有什么好讲的等你真正在一台 GPU 机器上跑实验就会发现数据加载环节的坑一点不比模型结构少。这个函数出自《动手学深度学习》的 PyTorch 配套代码也常被各种课程和开源项目直接使用它的作用非常明确帮你把 Fashion-MNIST 数据集下载下来、做必要的图像变换、打包成训练和测试用的 DataLoader。表面上看它只是几行代码的组合但背后涉及数据集组织、图像张量转换、DataLoader 参数、多进程读取、内存和显存配合等一系列问题。如果只是会调用而不理解内部原理遇到下载卡住、Windows 下进程报错、图像显示异常、模型输入维度不对这些问题时就会非常被动。这篇文章我会从函数本身出发把load_data_fashion_mnist拆开讲清楚它加载的是什么数据、每一个步骤到底做了什么、怎么从零手写一个等价版本、实际训练中怎么用以及我踩过的各种坑和排查方法。适合刚入门深度学习、准备用 Fashion-MNIST 跑通第一个 PyTorch 项目的读者也适合想彻底弄懂 DataLoader 机制的人。1. load_data_fashion_mnist 到底加载了什么数据集工程的第一课1.1 Fashion-MNIST 数据集的来龙去脉Fashion-MNIST 是 Zalando 研究团队在 2017 年发布的一个图像分类数据集目的是替代经典的 MNIST 手写数字数据集。MNIST 太简单了随便一个线性模型都能跑到 97% 以上卷积神经网络更是轻松过 99%已经很难体现不同算法之间的差距。Fashion-MNIST 把任务换成了服装图像分类虽然同样保持 28×28 灰度图、10 个类别但图像中的纹理、轮廓、类间相似度都比手写数字更接近真实视觉任务。这个数据集的规模非常适合入门项目数值训练集60000 张图片测试集10000 张图片图像尺寸28×28 像素通道数1灰度图像素范围0 到 255类别数10每类训练样本6000 张10 个类别分别是T 恤/上衣、裤子、套头衫、连衣裙、外套、凉鞋、衬衫、运动鞋、包、短靴。这些类别之间有比较明显的视觉差异但也有容易混淆的类别比如 T 恤和衬衫、套头衫和外套所以比 MNIST 更能检验模型的真实能力。如果你准备用深度学习做图像分类入门Fashion-MNIST 是比 MNIST 更合适的选择它不大单张图只有 28×28整体数据量也只有几十 MB在普通 CPU 上都能很快完成一轮训练很适合用来验证模型结构和调参思路。1.2 为什么给数据加载单独做一个统一入口很多人一开始会疑惑load_data_fashion_mnist并不是 PyTorch 官方 API为什么大家都爱用其实它本身没有引入任何新东西就是把 PyTorch 和 torchvision 的组件组合在一起形成一个标准化的数据加载入口。如果不做封装每次跑实验都要重复写这样的代码import torchvision from torchvision import transforms from torch.utils import data trans [transforms.ToTensor()] transform transforms.Compose(trans) mnist_train torchvision.datasets.FashionMNIST( root./data, trainTrue, transformtransform, downloadTrue) mnist_test torchvision.datasets.FashionMNIST( root./data, trainFalse, transformtransform, downloadTrue) train_iter data.DataLoader(mnist_train, batch_size256, shuffleTrue, num_workers4) test_iter data.DataLoader(mnist_test, batch_size256, shuffleFalse, num_workers4)一次两次还好项目一多就很容易出问题有人忘记写transform导致 DataLoader 返回的是 PIL Image 而不是 Tensor有人把shuffleTrue用在测试集上导致评估结果不稳定有人 Windows 下num_workers4一跑就崩但不知道原因。load_data_fashion_mnist这类函数的价值就是把容易出错、重复性高的环节收敛到一个函数里。训练脚本可以写得很干净模型代码和数据代码分离换数据集、换机器时也更容易迁移。更重要的是这个函数的命名方式已经成为一种习惯很多开源项目都会用load_xxx()来提供数据加载入口理解了它你以后看其他项目的代码也会更快。1.3 函数签名、返回值和常见调用方式在《动手学深度学习》的 PyTorch 版本中最直接的使用方式是这样的from d2l import torch as d2l batch_size 256 train_iter, test_iter d2l.load_data_fashion_mnist(batch_size)第一次看到这段代码的人容易把train_iter和test_iter误以为是数据集本身其实它们是 DataLoader 对象。也就是说它们不会一次性把 60000 张图片全部读进内存而是每次迭代时按批返回数据。可以用下面的代码验证一下返回结果到底是什么for X, y in train_iter: print(X.shape, y.shape, X.dtype) break输出结果类似torch.Size([256, 1, 28, 28]) torch.Size([256]) torch.float32这里X的形状是[256, 1, 28, 28]代表 256 张图片、1 个通道、每张 28×28。y的形状是[256]代表 256 个标签。X.dtype是torch.float32这是因为ToTensor已经把原始像素从 0 到 255 的整数转换成了 0 到 1 之间的浮点数。2. 拆开看下载、变换、批次三条流水线要真正理解load_data_fashion_mnist最好直接看它的实现。不同教材或版本可能略有差异但核心流程一致def load_data_fashion_mnist(batch_size, resizeNone): trans [transforms.ToTensor()] if resize: trans.insert(0, transforms.Resize(resize)) trans transforms.Compose(trans) mnist_train torchvision.datasets.FashionMNIST( root../data, trainTrue, transformtrans, downloadTrue) mnist_test torchvision.datasets.FashionMNIST( root../data, trainFalse, transformtrans, downloadTrue) return (data.DataLoader(mnist_train, batch_size, shuffleTrue, num_workers4), data.DataLoader(mnist_test, batch_size, shuffleFalse, num_workers4))这段代码不长但每一步都值得拆开讲。2.1 数据集根目录和重复下载问题root../data看起来简单实际是最容易让人懵的地方。这个路径是相对路径取决于你启动 Python 脚本时所在的工作目录而不是函数文件所在的位置。比如你的工作目录是/home/user/project那么../data指向的就是/home/user/data而不是/home/user/project/data。建议在正式项目里把root改成绝对路径或者改成当前目录下的./data这样至少能直观地看到数据放在哪里。downloadTrue并不是每次都会重新下载torchvision 会先检查root下面有没有已经存在的 Fashion-MNIST 数据集如果找到了就直接加载只有找不到或文件不完整时才会触发下载。这个机制也有一个坑如果网络不好下载到一半中断目录里留下一个不完整的压缩文件或解压文件下次运行时不会自动修复而是报一些看似莫名其妙的错误。最省事的办法就是把整个FashionMNIST目录删掉让代码重新下载一遍。2.2 ToTensor 到底做了什么transforms.ToTensor()是这段代码里最重要的一个变换。它的作用有三个第一把 PIL Image 或 NumPy 数组转换成torch.Tensor。如果不做这一步DataLoader 返回的就是 PIL Image 对象没法直接参与 PyTorch 的自动求导。第二调整张量维度顺序。图像原始读取进来通常是高度 H、宽度 W、通道 C也就是 H W C 排列。ToTensor 会把它转换成 PyTorch 习惯的 C H W 排列。对于灰度图来说形状会从[28, 28]变成[1, 28, 28]多出来的 1 就是通道维度。第三归一化像素值。原始图像的每个像素是 0 到 255 的整数ToTensor 会直接除以 255变成 0 到 1 之间的浮点数。这一步非常关键如果不做归一化数值范围太大神经网络训练时梯度很容易爆炸。resize参数不是必须的。如果传了resize224代码会在 ToTensor 之前插入一个transforms.Resize(224)把 28×28 的图片放大到 224×224。这种操作通常是为了适配 ImageNet 预训练模型因为很多预训练卷积神经网络要求输入是 224×224 的 RGB 图像。但放大图片意味着计算量显著增加对于简单的 Fashion-MNIST 分类任务不一定值得。2.3 DataLoader 的三个关键参数DataLoader 是真正把数据变成“批次”的环节其中有几个参数直接影响训练效果和稳定性。batch_size比较好理解就是每一批包含多少张图片。Fashion-MNIST 训练集有 60000 张图片如果batch_size256那么每一轮 epoch 大约有 235 个 batch。batch 太大容易显存不足batch 太小会导致训练速度慢、梯度震荡具体数值需要根据 GPU 显存和模型规模来定。shuffle代表是否在每个 epoch 开始前随机打乱数据。训练集必须设成True因为随机打乱能让每个 epoch 看到不同的样本顺序避免模型记住固定顺序也有利于随机梯度下降的收敛。测试集设成False这样评估时可以累积结果也方便复现实验。num_workers代表用几个子进程来预读取和变换数据。0 表示在主进程里做4 表示开 4 个子进程。适当增加num_workers可以加快数据读取但并不是越大越好。子进程太多会带来额外的内存开销和进程切换成本反而可能变慢。更关键的是在 Windows 和 Jupyter 环境下num_workers0经常会报错遇到这种情况先改成 0。还有一个容易被忽略的参数是pin_memory。如果训练时使用 GPU把pin_memoryTrue打开数据从内存拷贝到显存时会更快。对于 Fashion-MNIST 这样的小数据集影响不算明显但这是一个值得养成的习惯。2.4 train_iter 与 test_iter 的类型很多人第一次看到train_iter这个名字会直接拿它去做切片然后报错因为它是torch.utils.data.dataloader.DataLoader类型不是列表也不是 Dataset。DataSet 和 DataLoader 的区别可以这样理解Dataset 是一堆图片和标签的集合DataLoader 是给这个集合加了一个“按批取出”的管道。DataLoader 内部会维护一个迭代器每次 next 都会返回一个 batch 的数据。在实际训练中你很少需要直接访问 Dataset都是通过 DataLoader 循环取数据for epoch in range(num_epochs): for X, y in train_iter: # X: [batch_size, 1, 28, 28] # y: [batch_size] ...这样做的好处是内存占用稳定。无论数据集有多大每次只加载一个 batch不会一次性把整个数据集塞进显存。3. 从零实现一个 load_data_fashion_mnist实操级复现看懂原理之后最好自己手写一遍这样以后换数据集、加数据增强、改归一化方式时都能得心应手。3.1 最小可跑版本如果不依赖d2l包可以自己实现一个等价版本。这里我加了一些更实用的默认值import torch import torchvision from torch.utils import data from torchvision import transforms def load_data_fashion_mnist(batch_size, resizeNone, root./data, num_workers4): trans [transforms.ToTensor()] if resize: trans.insert(0, transforms.Resize(resize)) transform transforms.Compose(trans) train_set torchvision.datasets.FashionMNIST( rootroot, trainTrue, transformtransform, downloadTrue) test_set torchvision.datasets.FashionMNIST( rootroot, trainFalse, transformtransform, downloadTrue) train_loader data.DataLoader( train_set, batch_size, shuffleTrue, num_workersnum_workers, pin_memorytorch.cuda.is_available()) test_loader data.DataLoader( test_set, batch_size, shuffleFalse, num_workersnum_workers, pin_memorytorch.cuda.is_available()) return train_loader, test_loader这段代码和教材里的版本主要有几个区别root改成了./data路径更直观。num_workers做成了函数参数而不是写死的 4这样在 Windows 上遇到问题时可以直接传 0。pin_memory设置为torch.cuda.is_available()如果有 GPU 就自动开启没有 GPU 就自动关闭避免在不支持的环境里报错。调用方式不变train_iter, test_iter load_data_fashion_mnist(batch_size256)第一次运行会自动下载数据集下载完成后会看到data/FashionMNIST目录生成。3.2 可视化检查不要一上来就训练我的个人习惯是写完数据加载函数后第一件事不是训练模型而是先把数据可视化出来。这一步能帮你发现很多潜在问题比如标签对不对、图像是否黑白颠倒、通道维度是否合理。Fashion-MNIST 的标签是 0 到 9 的数字直接打印数字不容易看可以先定义一个标签转换函数def get_fashion_mnist_labels(labels): text_labels [t-shirt, trouser, pullover, dress, coat, sandal, shirt, sneaker, bag, ankle boot] return [text_labels[int(i)] for i in labels]然后画一个 2 行 5 列的图像网格import matplotlib.pyplot as plt def show_images(imgs, num_rows, num_cols, titlesNone, scale1.5): figsize (num_cols * scale, num_rows * scale) _, axes plt.subplots(num_rows, num_cols, figsizefigsize) axes axes.flatten() for i, (ax, img) in enumerate(zip(axes, imgs)): if torch.is_tensor(img): img img.squeeze().numpy() ax.imshow(img, cmapgray) ax.axes.get_xaxis().set_visible(False) ax.axes.get_yaxis().set_visible(False) if titles: ax.set_title(titles[i]) plt.tight_layout() plt.show() X, y next(iter(test_iter)) show_images(X[:10], 2, 5, titlesget_fashion_mnist_labels(y[:10]))这里有一个容易犯的错X的形状是[batch_size, 1, 28, 28]如果直接把X[i]传给imshow因为多了一个1的通道维度matplotlib 可能无法正确显示。所以要先调用squeeze()去掉通道维度变成[28, 28]的二维数组。如果图像能正常显示并且标题和图片内容对得上数据加载这关基本就过了。3.3 参数调优resize、batch_size 与 Normalizeresize参数在什么场景下用最常见的是你打算用预训练的 ResNet、VGG 等模型。这些模型通常要求输入是 224×224 的 RGB 图像而 Fashion-MNIST 是 28×28 的灰度图所以要么先Grayscale转成三通道再Resize到 224×224要么直接改网络第一层。举个例子transform transforms.Compose([ transforms.Grayscale(num_output_channels3), transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])这里的Normalize使用 ImageNet 的均值和标准差是迁移学习的常见做法。不过要注意Fashion-MNIST 和 ImageNet 的数据分布差异很大这套参数不一定最优但通常能正常工作。如果你只用一个小型 CNN 做实验原始的 ToTensor 就足够了。batch_size的选择和显存大小直接相关。我自己的经验是在 8GB 显存的 GPU 上跑一个三层卷积神经网络batch_size256没什么压力如果换成 ResNet 这类深层模型同样 batch 会直接把显存打满。遇到显存不足时第一步不是换模型而是把 batch 调到 64 或者 32。注意改变 batch 后最好同步调整学习率因为大 batch 通常配合稍大的学习率小 batch 需要更保守的学习率。4. 实战中绕不开的坑问题与排查速查4.1 下载卡死、超时或文件损坏我在多个环境里遇到过下载问题最典型的症状是卡在 0% 很久不动或者下载到一半直接失败。原因通常是网络不稳定torchvision 下载时装包没有做断点续传一旦中断就会留下残缺文件。这种情况下最直接的办法是删除本地的data/FashionMNIST目录重新运行代码。如果重新下载仍然失败可以换一个更稳定的网络环境先把数据下载完整然后把整个data目录拷贝到目标机器上。拷贝时注意保持目录结构一致比如data/FashionMNIST/raw这些文件都要在否则 torchvision 可能认为数据集不存在。如果运行时出现类似EOFError: Compressed file ended before the end-of-stream marker was reached的报错基本可以断定是数据文件不完整。别想着修复它删除后重新下载最省心。4.2 Windows 下 DataLoader 的玄学问题num_workers0在 Windows 下是重灾区。最典型的情况是在没有加if __name__ __main__:的脚本里直接执行然后报出一大段 RuntimeError指向 DataLoader worker 启动失败。这是因为 Windows 下多进程是通过 spawn 方式启动的和 Linux 的 fork 方式不同如果你的数据加载代码没有被正确的入口保护就会出问题。解决方案很简单if __name__ __main__: train_iter, test_iter load_data_fashion_mnist(batch_size256, num_workers4)如果你是在 Jupyter Notebook 里跑if __name__这一招有时候也不管用建议直接把num_workers设为 0。对 Fashion-MNIST 这种小数据集来说num_workers0的速度损失完全可以接受总比莫名报错好。在 Linux 服务器上num_workers设成 4 或 8 通常没问题但要注意内存占用。每个 worker 都会复制一部分数据预处理状态worker 越多内存占用越高。如果服务器内存紧张可以适当降低不要一味追求高数值。4.3 标签、图像和可视化对不上Fashion-MNIST 的标签顺序是固定的0 对应 T 恤/上衣1 对应裤子2 对应套头衫以此类推。如果你在训练代码里直接打印数字标签看起来没问题但想确认类别名称时必须用映射表转换。一个容易踩的坑是在可视化时忘记处理通道维度。Tensor 的形状是[1, 28, 28]如果不squeeze()matplotlib 会收到一个三维数组显示的时候可能报错也可能只显示一片色块。另一个坑是测试集在 DataLoader 中没有shuffle所以每次迭代的顺序都保持一致但这并不代表标签和图像是按类别排好的不要用索引去猜类别。4.4 从加载数据到训练一条龙数据加载最终是为了训练。这里给出一个最小训练循环验证整个流程是否跑通import torch.nn as nn net nn.Sequential( nn.Flatten(), nn.Linear(784, 10) ) loss nn.CrossEntropyLoss() optimizer torch.optim.SGD(net.parameters(), lr0.1) num_epochs 10 train_iter, test_iter load_data_fashion_mnist(batch_size256) for epoch in range(num_epochs): net.train() total_loss, correct, total 0.0, 0, 0 for X, y in train_iter: X X.reshape(X.shape[0], -1) y_hat net(X) l loss(y_hat, y) optimizer.zero_grad() l.backward() optimizer.step() total_loss l.item() * X.shape[0] correct (y_hat.argmax(dim1) y).sum().item() total y.numel() print(fepoch {epoch 1}, loss {total_loss / total:.4f}, acc {correct / total:.4f})这里把X从[256, 1, 28, 28]reshape 成[256, 784]然后进入一个线性层。这个模型非常简陋准确率不会太高但它能证明load_data_fashion_mnist返回的数据完全可以直接送入模型训练一次 epoch 也不会花太长时间。在实际跑这个函数时我最大的体会是数据加载这一步看起来简单但值得花时间理解透彻。很多人急着搭模型、调 loss结果数据维度不对、标签错位、显存溢出最后发现问题全出在入口处。先花几分钟验证X.shape、y的取值、可视化几张图后面训练和调参会顺畅很多。load_data_fashion_mnist帮你把一堆压缩包变成了模型能吃的 batch这个环节做到心中有数后面的路才走得稳。 
长河君 · 2026/10/4 3:21:26 · 阅读 1.2k PyTorch数据加载与DataLoader原理：从Fashion-MNIST到load_data_fashion_mnist
看到load_data_fashion_mnist这个函数名很多刚开始接触深度学习的人第一反应是不就是一个数据加载函数吗有什么好讲的等你真正在一台 GPU 机器上跑实验就会发现数据加载环节的坑一点不比模型结构少。这个函数出自《动手学深度学习》的 PyTorch 配套代码也常被各种课程和开源项目直接使用它的作用非常明确帮你把 Fashion-MNIST 数据集下载下来、做必要的图像变换、打包成训练和测试用的 DataLoader。表面上看它只是几行代码的组合但背后涉及数据集组织、图像张量转换、DataLoader 参数、多进程读取、内存和显存配合等一系列问题。如果只是会调用而不理解内部原理遇到下载卡住、Windows 下进程报错、图像显示异常、模型输入维度不对这些问题时就会非常被动。这篇文章我会从函数本身出发把load_data_fashion_mnist拆开讲清楚它加载的是什么数据、每一个步骤到底做了什么、怎么从零手写一个等价版本、实际训练中怎么用以及我踩过的各种坑和排查方法。适合刚入门深度学习、准备用 Fashion-MNIST 跑通第一个 PyTorch 项目的读者也适合想彻底弄懂 DataLoader 机制的人。1. load_data_fashion_mnist 到底加载了什么数据集工程的第一课1.1 Fashion-MNIST 数据集的来龙去脉Fashion-MNIST 是 Zalando 研究团队在 2017 年发布的一个图像分类数据集目的是替代经典的 MNIST 手写数字数据集。MNIST 太简单了随便一个线性模型都能跑到 97% 以上卷积神经网络更是轻松过 99%已经很难体现不同算法之间的差距。Fashion-MNIST 把任务换成了服装图像分类虽然同样保持 28×28 灰度图、10 个类别但图像中的纹理、轮廓、类间相似度都比手写数字更接近真实视觉任务。这个数据集的规模非常适合入门项目数值训练集60000 张图片测试集10000 张图片图像尺寸28×28 像素通道数1灰度图像素范围0 到 255类别数10每类训练样本6000 张10 个类别分别是T 恤/上衣、裤子、套头衫、连衣裙、外套、凉鞋、衬衫、运动鞋、包、短靴。这些类别之间有比较明显的视觉差异但也有容易混淆的类别比如 T 恤和衬衫、套头衫和外套所以比 MNIST 更能检验模型的真实能力。如果你准备用深度学习做图像分类入门Fashion-MNIST 是比 MNIST 更合适的选择它不大单张图只有 28×28整体数据量也只有几十 MB在普通 CPU 上都能很快完成一轮训练很适合用来验证模型结构和调参思路。1.2 为什么给数据加载单独做一个统一入口很多人一开始会疑惑load_data_fashion_mnist并不是 PyTorch 官方 API为什么大家都爱用其实它本身没有引入任何新东西就是把 PyTorch 和 torchvision 的组件组合在一起形成一个标准化的数据加载入口。如果不做封装每次跑实验都要重复写这样的代码import torchvision from torchvision import transforms from torch.utils import data trans [transforms.ToTensor()] transform transforms.Compose(trans) mnist_train torchvision.datasets.FashionMNIST( root./data, trainTrue, transformtransform, downloadTrue) mnist_test torchvision.datasets.FashionMNIST( root./data, trainFalse, transformtransform, downloadTrue) train_iter data.DataLoader(mnist_train, batch_size256, shuffleTrue, num_workers4) test_iter data.DataLoader(mnist_test, batch_size256, shuffleFalse, num_workers4)一次两次还好项目一多就很容易出问题有人忘记写transform导致 DataLoader 返回的是 PIL Image 而不是 Tensor有人把shuffleTrue用在测试集上导致评估结果不稳定有人 Windows 下num_workers4一跑就崩但不知道原因。load_data_fashion_mnist这类函数的价值就是把容易出错、重复性高的环节收敛到一个函数里。训练脚本可以写得很干净模型代码和数据代码分离换数据集、换机器时也更容易迁移。更重要的是这个函数的命名方式已经成为一种习惯很多开源项目都会用load_xxx()来提供数据加载入口理解了它你以后看其他项目的代码也会更快。1.3 函数签名、返回值和常见调用方式在《动手学深度学习》的 PyTorch 版本中最直接的使用方式是这样的from d2l import torch as d2l batch_size 256 train_iter, test_iter d2l.load_data_fashion_mnist(batch_size)第一次看到这段代码的人容易把train_iter和test_iter误以为是数据集本身其实它们是 DataLoader 对象。也就是说它们不会一次性把 60000 张图片全部读进内存而是每次迭代时按批返回数据。可以用下面的代码验证一下返回结果到底是什么for X, y in train_iter: print(X.shape, y.shape, X.dtype) break输出结果类似torch.Size([256, 1, 28, 28]) torch.Size([256]) torch.float32这里X的形状是[256, 1, 28, 28]代表 256 张图片、1 个通道、每张 28×28。y的形状是[256]代表 256 个标签。X.dtype是torch.float32这是因为ToTensor已经把原始像素从 0 到 255 的整数转换成了 0 到 1 之间的浮点数。2. 拆开看下载、变换、批次三条流水线要真正理解load_data_fashion_mnist最好直接看它的实现。不同教材或版本可能略有差异但核心流程一致def load_data_fashion_mnist(batch_size, resizeNone): trans [transforms.ToTensor()] if resize: trans.insert(0, transforms.Resize(resize)) trans transforms.Compose(trans) mnist_train torchvision.datasets.FashionMNIST( root../data, trainTrue, transformtrans, downloadTrue) mnist_test torchvision.datasets.FashionMNIST( root../data, trainFalse, transformtrans, downloadTrue) return (data.DataLoader(mnist_train, batch_size, shuffleTrue, num_workers4), data.DataLoader(mnist_test, batch_size, shuffleFalse, num_workers4))这段代码不长但每一步都值得拆开讲。2.1 数据集根目录和重复下载问题root../data看起来简单实际是最容易让人懵的地方。这个路径是相对路径取决于你启动 Python 脚本时所在的工作目录而不是函数文件所在的位置。比如你的工作目录是/home/user/project那么../data指向的就是/home/user/data而不是/home/user/project/data。建议在正式项目里把root改成绝对路径或者改成当前目录下的./data这样至少能直观地看到数据放在哪里。downloadTrue并不是每次都会重新下载torchvision 会先检查root下面有没有已经存在的 Fashion-MNIST 数据集如果找到了就直接加载只有找不到或文件不完整时才会触发下载。这个机制也有一个坑如果网络不好下载到一半中断目录里留下一个不完整的压缩文件或解压文件下次运行时不会自动修复而是报一些看似莫名其妙的错误。最省事的办法就是把整个FashionMNIST目录删掉让代码重新下载一遍。2.2 ToTensor 到底做了什么transforms.ToTensor()是这段代码里最重要的一个变换。它的作用有三个第一把 PIL Image 或 NumPy 数组转换成torch.Tensor。如果不做这一步DataLoader 返回的就是 PIL Image 对象没法直接参与 PyTorch 的自动求导。第二调整张量维度顺序。图像原始读取进来通常是高度 H、宽度 W、通道 C也就是 H W C 排列。ToTensor 会把它转换成 PyTorch 习惯的 C H W 排列。对于灰度图来说形状会从[28, 28]变成[1, 28, 28]多出来的 1 就是通道维度。第三归一化像素值。原始图像的每个像素是 0 到 255 的整数ToTensor 会直接除以 255变成 0 到 1 之间的浮点数。这一步非常关键如果不做归一化数值范围太大神经网络训练时梯度很容易爆炸。resize参数不是必须的。如果传了resize224代码会在 ToTensor 之前插入一个transforms.Resize(224)把 28×28 的图片放大到 224×224。这种操作通常是为了适配 ImageNet 预训练模型因为很多预训练卷积神经网络要求输入是 224×224 的 RGB 图像。但放大图片意味着计算量显著增加对于简单的 Fashion-MNIST 分类任务不一定值得。2.3 DataLoader 的三个关键参数DataLoader 是真正把数据变成“批次”的环节其中有几个参数直接影响训练效果和稳定性。batch_size比较好理解就是每一批包含多少张图片。Fashion-MNIST 训练集有 60000 张图片如果batch_size256那么每一轮 epoch 大约有 235 个 batch。batch 太大容易显存不足batch 太小会导致训练速度慢、梯度震荡具体数值需要根据 GPU 显存和模型规模来定。shuffle代表是否在每个 epoch 开始前随机打乱数据。训练集必须设成True因为随机打乱能让每个 epoch 看到不同的样本顺序避免模型记住固定顺序也有利于随机梯度下降的收敛。测试集设成False这样评估时可以累积结果也方便复现实验。num_workers代表用几个子进程来预读取和变换数据。0 表示在主进程里做4 表示开 4 个子进程。适当增加num_workers可以加快数据读取但并不是越大越好。子进程太多会带来额外的内存开销和进程切换成本反而可能变慢。更关键的是在 Windows 和 Jupyter 环境下num_workers0经常会报错遇到这种情况先改成 0。还有一个容易被忽略的参数是pin_memory。如果训练时使用 GPU把pin_memoryTrue打开数据从内存拷贝到显存时会更快。对于 Fashion-MNIST 这样的小数据集影响不算明显但这是一个值得养成的习惯。2.4 train_iter 与 test_iter 的类型很多人第一次看到train_iter这个名字会直接拿它去做切片然后报错因为它是torch.utils.data.dataloader.DataLoader类型不是列表也不是 Dataset。DataSet 和 DataLoader 的区别可以这样理解Dataset 是一堆图片和标签的集合DataLoader 是给这个集合加了一个“按批取出”的管道。DataLoader 内部会维护一个迭代器每次 next 都会返回一个 batch 的数据。在实际训练中你很少需要直接访问 Dataset都是通过 DataLoader 循环取数据for epoch in range(num_epochs): for X, y in train_iter: # X: [batch_size, 1, 28, 28] # y: [batch_size] ...这样做的好处是内存占用稳定。无论数据集有多大每次只加载一个 batch不会一次性把整个数据集塞进显存。3. 从零实现一个 load_data_fashion_mnist实操级复现看懂原理之后最好自己手写一遍这样以后换数据集、加数据增强、改归一化方式时都能得心应手。3.1 最小可跑版本如果不依赖d2l包可以自己实现一个等价版本。这里我加了一些更实用的默认值import torch import torchvision from torch.utils import data from torchvision import transforms def load_data_fashion_mnist(batch_size, resizeNone, root./data, num_workers4): trans [transforms.ToTensor()] if resize: trans.insert(0, transforms.Resize(resize)) transform transforms.Compose(trans) train_set torchvision.datasets.FashionMNIST( rootroot, trainTrue, transformtransform, downloadTrue) test_set torchvision.datasets.FashionMNIST( rootroot, trainFalse, transformtransform, downloadTrue) train_loader data.DataLoader( train_set, batch_size, shuffleTrue, num_workersnum_workers, pin_memorytorch.cuda.is_available()) test_loader data.DataLoader( test_set, batch_size, shuffleFalse, num_workersnum_workers, pin_memorytorch.cuda.is_available()) return train_loader, test_loader这段代码和教材里的版本主要有几个区别root改成了./data路径更直观。num_workers做成了函数参数而不是写死的 4这样在 Windows 上遇到问题时可以直接传 0。pin_memory设置为torch.cuda.is_available()如果有 GPU 就自动开启没有 GPU 就自动关闭避免在不支持的环境里报错。调用方式不变train_iter, test_iter load_data_fashion_mnist(batch_size256)第一次运行会自动下载数据集下载完成后会看到data/FashionMNIST目录生成。3.2 可视化检查不要一上来就训练我的个人习惯是写完数据加载函数后第一件事不是训练模型而是先把数据可视化出来。这一步能帮你发现很多潜在问题比如标签对不对、图像是否黑白颠倒、通道维度是否合理。Fashion-MNIST 的标签是 0 到 9 的数字直接打印数字不容易看可以先定义一个标签转换函数def get_fashion_mnist_labels(labels): text_labels [t-shirt, trouser, pullover, dress, coat, sandal, shirt, sneaker, bag, ankle boot] return [text_labels[int(i)] for i in labels]然后画一个 2 行 5 列的图像网格import matplotlib.pyplot as plt def show_images(imgs, num_rows, num_cols, titlesNone, scale1.5): figsize (num_cols * scale, num_rows * scale) _, axes plt.subplots(num_rows, num_cols, figsizefigsize) axes axes.flatten() for i, (ax, img) in enumerate(zip(axes, imgs)): if torch.is_tensor(img): img img.squeeze().numpy() ax.imshow(img, cmapgray) ax.axes.get_xaxis().set_visible(False) ax.axes.get_yaxis().set_visible(False) if titles: ax.set_title(titles[i]) plt.tight_layout() plt.show() X, y next(iter(test_iter)) show_images(X[:10], 2, 5, titlesget_fashion_mnist_labels(y[:10]))这里有一个容易犯的错X的形状是[batch_size, 1, 28, 28]如果直接把X[i]传给imshow因为多了一个1的通道维度matplotlib 可能无法正确显示。所以要先调用squeeze()去掉通道维度变成[28, 28]的二维数组。如果图像能正常显示并且标题和图片内容对得上数据加载这关基本就过了。3.3 参数调优resize、batch_size 与 Normalizeresize参数在什么场景下用最常见的是你打算用预训练的 ResNet、VGG 等模型。这些模型通常要求输入是 224×224 的 RGB 图像而 Fashion-MNIST 是 28×28 的灰度图所以要么先Grayscale转成三通道再Resize到 224×224要么直接改网络第一层。举个例子transform transforms.Compose([ transforms.Grayscale(num_output_channels3), transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])这里的Normalize使用 ImageNet 的均值和标准差是迁移学习的常见做法。不过要注意Fashion-MNIST 和 ImageNet 的数据分布差异很大这套参数不一定最优但通常能正常工作。如果你只用一个小型 CNN 做实验原始的 ToTensor 就足够了。batch_size的选择和显存大小直接相关。我自己的经验是在 8GB 显存的 GPU 上跑一个三层卷积神经网络batch_size256没什么压力如果换成 ResNet 这类深层模型同样 batch 会直接把显存打满。遇到显存不足时第一步不是换模型而是把 batch 调到 64 或者 32。注意改变 batch 后最好同步调整学习率因为大 batch 通常配合稍大的学习率小 batch 需要更保守的学习率。4. 实战中绕不开的坑问题与排查速查4.1 下载卡死、超时或文件损坏我在多个环境里遇到过下载问题最典型的症状是卡在 0% 很久不动或者下载到一半直接失败。原因通常是网络不稳定torchvision 下载时装包没有做断点续传一旦中断就会留下残缺文件。这种情况下最直接的办法是删除本地的data/FashionMNIST目录重新运行代码。如果重新下载仍然失败可以换一个更稳定的网络环境先把数据下载完整然后把整个data目录拷贝到目标机器上。拷贝时注意保持目录结构一致比如data/FashionMNIST/raw这些文件都要在否则 torchvision 可能认为数据集不存在。如果运行时出现类似EOFError: Compressed file ended before the end-of-stream marker was reached的报错基本可以断定是数据文件不完整。别想着修复它删除后重新下载最省心。4.2 Windows 下 DataLoader 的玄学问题num_workers0在 Windows 下是重灾区。最典型的情况是在没有加if __name__ __main__:的脚本里直接执行然后报出一大段 RuntimeError指向 DataLoader worker 启动失败。这是因为 Windows 下多进程是通过 spawn 方式启动的和 Linux 的 fork 方式不同如果你的数据加载代码没有被正确的入口保护就会出问题。解决方案很简单if __name__ __main__: train_iter, test_iter load_data_fashion_mnist(batch_size256, num_workers4)如果你是在 Jupyter Notebook 里跑if __name__这一招有时候也不管用建议直接把num_workers设为 0。对 Fashion-MNIST 这种小数据集来说num_workers0的速度损失完全可以接受总比莫名报错好。在 Linux 服务器上num_workers设成 4 或 8 通常没问题但要注意内存占用。每个 worker 都会复制一部分数据预处理状态worker 越多内存占用越高。如果服务器内存紧张可以适当降低不要一味追求高数值。4.3 标签、图像和可视化对不上Fashion-MNIST 的标签顺序是固定的0 对应 T 恤/上衣1 对应裤子2 对应套头衫以此类推。如果你在训练代码里直接打印数字标签看起来没问题但想确认类别名称时必须用映射表转换。一个容易踩的坑是在可视化时忘记处理通道维度。Tensor 的形状是[1, 28, 28]如果不squeeze()matplotlib 会收到一个三维数组显示的时候可能报错也可能只显示一片色块。另一个坑是测试集在 DataLoader 中没有shuffle所以每次迭代的顺序都保持一致但这并不代表标签和图像是按类别排好的不要用索引去猜类别。4.4 从加载数据到训练一条龙数据加载最终是为了训练。这里给出一个最小训练循环验证整个流程是否跑通import torch.nn as nn net nn.Sequential( nn.Flatten(), nn.Linear(784, 10) ) loss nn.CrossEntropyLoss() optimizer torch.optim.SGD(net.parameters(), lr0.1) num_epochs 10 train_iter, test_iter load_data_fashion_mnist(batch_size256) for epoch in range(num_epochs): net.train() total_loss, correct, total 0.0, 0, 0 for X, y in train_iter: X X.reshape(X.shape[0], -1) y_hat net(X) l loss(y_hat, y) optimizer.zero_grad() l.backward() optimizer.step() total_loss l.item() * X.shape[0] correct (y_hat.argmax(dim1) y).sum().item() total y.numel() print(fepoch {epoch 1}, loss {total_loss / total:.4f}, acc {correct / total:.4f})这里把X从[256, 1, 28, 28]reshape 成[256, 784]然后进入一个线性层。这个模型非常简陋准确率不会太高但它能证明load_data_fashion_mnist返回的数据完全可以直接送入模型训练一次 epoch 也不会花太长时间。在实际跑这个函数时我最大的体会是数据加载这一步看起来简单但值得花时间理解透彻。很多人急着搭模型、调 loss结果数据维度不对、标签错位、显存溢出最后发现问题全出在入口处。先花几分钟验证X.shape、y的取值、可视化几张图后面训练和调参会顺畅很多。load_data_fashion_mnist帮你把一堆压缩包变成了模型能吃的 batch这个环节做到心中有数后面的路才走得稳。