当前位置: 首页 > news >正文

【PyTorch】PyTorch中数据准备工作(AI生成)

PyTorch深度学习总结

AI第一章 PyTorch中数据准备工作


文章目录

  • PyTorch深度学习总结
  • 前言
  • 一、 数据收集与整理
  • 二、 数据集类的创建
  • 三、数据预处理
  • 四、 数据加载器的使用
  • 五、 划分训练集、验证集和测试集


前言

上文介绍torch.nn模块中的全连接层,本文将介绍数据集的准备工作。在 PyTorch 中,数据准备工作是构建和训练深度学习模型的重要基础,以下从多个方面简述相关内容:


一、 数据收集与整理

  • 内容:根据具体的任务需求,收集合适的数据。这些数据需要按照一定的规则进行整理,比如将图像数据按类别分别存放在不同的文件夹中,将文本数据按行分割成样本等。
  • 操作方式:手动收集数据时,可从公开数据集网站(如 Kaggle、ImageNet 等)下载,或者通过网络爬虫获取数据。整理数据可使用 Python 的 os 模块进行文件操作,使用 pandas 库处理 CSV 文件。

二、 数据集类的创建

  • 内容:PyTorch 提供了 torch.utils.data.Dataset 抽象类,用户需要自定义一个继承该类的数据集类,并实现 __len____getitem__ 方法。__len__ 方法返回数据集的样本数量,__getitem__ 方法根据索引返回一个样本及其对应的标签。
  • 例子:对于图像数据集类,__getitem__ 方法可能会读取指定索引的图像文件,对其进行预处理(如调整大小、归一化等),并返回处理后的图像张量和对应的标签。
  • 操作方式:以下是一个简单的图像数据集类示例:
import torch
from torch.utils.data import Dataset
import os
from PIL import Imageclass CustomImageDataset(Dataset):def __init__(self, root_dir, transform=None):self.root_dir = root_dirself.transform = transformself.classes = os.listdir(root_dir)self.data = []for class_name in self.classes:class_dir = os.path.join(root_dir, class_name)for img_name in os.listdir(class_dir):img_path = os.path.join(class_dir, img_name)label = self.classes.index(class_name)self.data.append((img_path, label))def __len__(self):return len(self.data)def __getitem__(self, idx):img_path, label = self.data[idx]image = Image.open(img_path).convert('RGB')if self.transform:image = self.transform(image)return image, label

三、数据预处理

  • 内容:对原始数据进行预处理,使其适合模型输入。常见的预处理操作包括图像的缩放、裁剪、归一化,文本的分词、编码等。
  • 例子:在图像数据预处理中,使用 torchvision.transforms 模块,可将图像调整为固定大小(如 224x224),并进行归一化操作,将像素值缩放到 [0, 1] 或 [-1, 1] 区间。对于文本数据,可使用 torchtext 库进行分词,将每个单词转换为对应的索引。
  • 操作方式:以下是图像预处理的示例代码:
import torchvision.transforms as transformstransform = transforms.Compose([transforms.Resize((224, 224)),transforms.ToTensor(),transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])

四、 数据加载器的使用

  • 内容:使用 torch.utils.data.DataLoader 类将数据集封装成可迭代的数据加载器。数据加载器可以实现数据的批量加载、打乱顺序、并行加载等功能。
  • 例子:在训练模型时,可将数据集分成多个批次,每个批次包含一定数量的样本(如 32 个),数据加载器会按顺序或随机地将这些批次提供给模型进行训练。
  • 操作方式:结合前面创建的数据集类和预处理操作,创建数据加载器的示例如下:
from torch.utils.data import DataLoader# 创建数据集实例
dataset = CustomImageDataset(root_dir='path/to/data', transform=transform)
# 创建数据加载器
dataloader = DataLoader(dataset, batch_size=32, shuffle=True, num_workers=4)

其中,batch_size 表示每个批次的样本数量,shuffleTrue 时表示在每个 epoch 开始时打乱数据顺序,num_workers 表示用于数据加载的子进程数量。


五、 划分训练集、验证集和测试集

  • 内容:为了评估模型的性能,需要将数据集划分为训练集、验证集和测试集。训练集用于模型的训练,验证集用于在训练过程中调整模型的超参数,测试集用于最终评估模型的泛化能力。
  • 例子:通常可按照 70%、15%、15% 的比例划分训练集、验证集和测试集。
  • 操作方式:可使用 torch.utils.data.random_split 方法进行划分,示例代码如下:
from torch.utils.data import random_splittrain_size = int(0.7 * len(dataset))
val_size = int(0.15 * len(dataset))
test_size = len(dataset) - train_size - val_sizetrain_dataset, val_dataset, test_dataset = random_split(dataset, [train_size, val_size, test_size])train_dataloader = DataLoader(train_dataset, batch_size=32, shuffle=True)
val_dataloader = DataLoader(val_dataset, batch_size=32, shuffle=False)
test_dataloader = DataLoader(test_dataset, batch_size=32, shuffle=False)

注意:本文内容由豆包AI生成。

http://www.lryc.cn/news/583635.html

相关文章:

  • 深度学习——损失函数
  • Hexo + Butterfly + Vercel 完整个人Blog部署指南
  • Flask3.1打造极简CMS系统
  • 自动化Trae Apollo参数解释的批量获取
  • 股权结构解析
  • SpringBoot集成文件 - 大文件的上传(异步,分片,断点续传和秒传)
  • 专题一_双指针_查找总价格为目标值的两个商品
  • 拼多多正在错失即时零售?
  • ECR仓库CloudFormation模板完整指南
  • 【每日算法】专题六_模拟
  • WPF学习笔记(27)科学计算器
  • 1、专栏介绍以及目录
  • 周立功汽车软件ZXDoc深度解析:新能源汽车开发新基建的破局之道
  • eggNOG数据库注释文件
  • 以太网基础④IP 协议介绍与 IP 校验和算法实现
  • 【Linux网络编程】Socket - TCP
  • Java-----韩顺平单例设计模式学习笔记
  • swiglu 激活函数学习笔记
  • Java垃圾收集机制Test1
  • [Python] 区分方法 函数
  • 深度解析:将SymPy符号表达式转化为高效NumPy计算函数的通用解决方案
  • Git系列--3.分支管理
  • Python管理咨询数据可视化实战:收入分布与顾问利用率双轴对比图表生成脚本
  • 零基础上手 Amazon DynamoDB:NoSQL 数据库服务的核心概念与快速搭建指南
  • SQL Server 2008R2 到 2012 数据库迁移完整指南
  • Redis-哨兵选取主节点流程
  • CVE-2025-32463复现
  • AI进化论03:达特茅斯会议——AI的“开宗立派”大会
  • SpringBoot实现MCP
  • Git版本控制完全指南:从入门到实战(简单版)