当前位置：首页 > news >正文

Pytorch代码入门学习之分类任务（二）：定义数据集

news 2025/8/25 0:25:33

一、导包

import torch
import torchvision
import torchvision.transforms as transforms

二、下载数据集

2.1 代码展示

# 定义数据加载进来后的初始化操作：
transform = transforms.Compose([# 张量转换：transforms.ToTensor(),# 归一化操作：transforms.Normalize((0.5,0.5,0.5),(0.5,0.5,0.5))
])trainset = torchvision.datasets.CIFAR10(root='./data',train=True,download=True,transform=transform)
testset = torchvision.datasets.CIFAR10(root='./data',train=False,download=True,transform=transform)
trainloader = torch.utils.data.DataLoader(trainset,batch_size=4,shuffle=True,num_workers=0)
testloader = torch.utils.data.DataLoader(testset,batch_size=4,shuffle=False,num_workers=0)

2.2 数据集介绍与下载方式

（1）数据集介绍：

CIFAR10数据集共60000个样本，其中有50000个训练样本和10000个测试样本。每个样本都是一张32*32像素的RGB图像（彩色图像），每个图像分为3个通道（R通道、G通道与B通道）。

CIFAR10数据集用来进行监督学习训练，每个样本包含一个标签值，其中有10类物体，标签值按照0~9来区分，分别是飞机（ airplane ）、汽车（ automobile ）、鸟（ bird ）、猫（ cat ）、鹿（ deer ）、狗（ dog ）、青蛙（ frog ）、马（ horse ）、船（ ship ）和卡车（ truck ）。

CIFAR10数据集的内容，如下图所示。

官网介绍链接：CIFAR-10 and CIFAR-100 datasets (toronto.edu)

（2）下载方式：

①下载文件：下载地址：https://pan.baidu.com/s/1Nh28RyfwPNNfe_sS8NBNUA

提取码：1h4x

②将下载好的文件重命名为cifar-10-batches-py.tar.gz

③将文件保存至相应地址下即可

2.3 transforms.Compose

transforms.Compose：相当于将所有需要的操作进行打包；

transforms.ToTensor：完成张量转换，pytorch处理的都是tensor数据，需要将读入的图片转换为tensor，其中tensor比普通图片的三通道多了一个通道—batch；

transforms.Normalize：归一化操作，对这一批次的数据进行归一，可以加速网络的收敛、放置梯度消失与梯度爆炸。

2.4 Dataset

Dataset是指定义好数据的格式和数据变换的形式，完成一些初始化的变化，然后送给网络（相当于将数据读入进去）。

torchvision.datasets.CIFAR10（调用数据集）：第一个参数为数据集加载的地址、第二个参数为是否是训练数据或测试数据（训练数据为True，测试数据为False）、第三个为download-指该数据集是否本地下载，最后一个参数为要做哪些变化（transform是指数据变换格式，torchvision会将我们需要的数据进行格式变换）。

2.4 Dataloader

Dataloader：负责用iterative迭代的方式不断读入批次数据，一批次一批次将数据进行打包，送入网络进行训练、学习、测试。

torch.utils.data.DataLoader：第一个参数为数据，第二个参数为batch_size(代表Dataloader一次从这么多数据中拿多少个数据走)，第三个参数为是否将数据打乱（训练的时候将数据打乱会让数据变得复杂，测试的时候不需要变得复杂），第四个参数为需要几线程进行读取数据（对于windows，默认为0就可以）

三、定义元组

定义元组进行类别名的中文转换：

classes = ('airplane','automobile','bird','car','deer','dog','frog','horse','ship','truck')

四、定义显示函数与运行数据加载器

4.1 代码展示

import matplotlib.pyplot as plt
import numpy as np  # 用这个包中的根据将tensor数据转换成矩阵数据def imshow(img):img = img / 2 + 0.5# tensor数据转换为numpynpimg = img.numpy()# 使用transpose进行数据转换-通道转换plt.imshow(np.transpose(npimg,(1,2,0)))plt.show()dataiter = iter(trainloader)
images,labels = dataiter.next()imshow(torchvision.utils.make_grid(images))print(labels)
print(labels[0],classes[labels[0]])
print(' '.join(classes[labels[j]] for j in range(4)))