day43 复习日（猫狗图像分类）

目录

准备工作

数据预处理

模型定义

模型训练

Grad-CAM定义

可视化实现

作业：

kaggle找到一个图像数据集，用cnn网络进行训练并且用grad-cam做可视化

进阶：并拆分成多个文件

准备工作

import torch
import shutil
import torch.nn as nn
import os
import torch.nn.functional as F
from torchvision import datasets, transforms
from torch.utils.data import DataLoader
import numpy as np
import torch.optim as optim
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings("ignore")plt.rcParams['font.sans-serif'] = ['Heiti TC']
plt.rcParams['axes.unicode_minus'] = False# 设置随机种子确保结果可复现
# 在深度学习中，随机种子可以让每次运行代码时，模型初始化参数、数据打乱等随机操作保持一致，方便调试和对比实验结果
torch.manual_seed(42)
np.random.seed(42)device = torch.device('mps')
print(f'当前使用设备:{device}')

数据预处理

# 定义原始数据集目录和总数
original_dataset_dir = './train'
total_num = int(len(os.listdir(original_dataset_dir)) / 2)
random_idx = np.array(range(total_num))
np.random.shuffle(random_idx)# 创建基础目录用于存放划分后的数据集
base_dir = './cat vs dog'
if not os.path.exists(base_dir):os.mkdir(base_dir)# 定义子目录名称（训练集和测试集）以及动物类别
sub_dirs = ['train', 'test']
animals = ['cats', 'dogs']# 根据比例划分训练集和测试集索引
train_idx = random_idx[:int(total_num * 0.9)]
test_idx = random_idx[int(total_num * 0.9):]
numbers = [train_idx, test_idx]# 遍历子目录并创建相应的文件夹结构，同时复制图像文件到对应位置
for idx, sub_dir in enumerate(sub_dirs):dir = os.path.join(base_dir, sub_dir)if not os.path.exists(dir):os.mkdir(dir)for animal in animals:animal_dir = os.path.join(dir, animal)if not os.path.exists(animal_dir):os.mkdir(animal_dir)# 构造文件名列表并复制文件fnames = [animal[:-1] + '.{}.jpg'.format(i) for i in numbers[idx]]for fname in fnames:src = os.path.join(original_dataset_dir, fname)dst = os.path.join(animal_dir, fname)shutil.copyfile(src, dst)# 数据增强
data_transform = transforms.Compose([   transforms.Resize((256, 256)),   transforms.ToTensor(),transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])
# 加载数据集
train_data = datasets.ImageFolder(root='./cat vs dog/train', transform=data_transform)
train_loader = DataLoader(train_data, batch_size=64, shuffle=True)test_data = datasets.ImageFolder(root='./cat vs dog/test', transform=data_transform)
test_loader = DataLoader(test_data, batch_size=4, shuffle=True)

模型定义

# 创建模型
class CNN(nn.Module):def __init__(self):super(CNN, self).__init__()self.conv1 = nn.Conv2d(3, 32, kernel_size=3, padding=1)self.conv2 = nn.Conv2d(32, 64 ,kernel_size=3, padding=1)self.conv3 = nn.Conv2d(64, 128, kernel_size=3, padding=1)self.pool = nn.MaxPool2d(2, 2)self.fc1 = nn.Linear(128 * 32 * 32, 512)self.fc2 = nn.Linear(512, 2)self.dropout = nn.Dropout(0.5)def forward(self, x):x = self.pool(F.relu(self.conv1(x)))x = self.pool(F.relu(self.conv2(x)))x = self.pool(F.relu(self.conv3(x)))x = x.view(-1, 128 * 32 * 32)x = F.relu(self.fc1(x))x = self.dropout(x)x = self.fc2(x)return xmodel = CNN().to(device)

模型训练

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)# 模型训练
def train(model, criterion, optimizer, train_loader, num_epochs=1):model.train()for epoch in range(num_epochs):running_loss = 0.0for i, data in enumerate(train_loader, 0):# 从数据加载器中获取图像和标签inputs, labels = data# 将图像和标签转移到对应的设备（GPU或CPU）上inputs, labels = inputs.to(device), labels.to(device)# 清空梯度，避免梯度累加optimizer.zero_grad()# 模型前向传播得到输出outputs = model(inputs)# 计算损失loss = criterion(outputs, labels)# 反向传播计算梯度loss.backward()# 更新模型参数optimizer.step()running_loss += loss.item()if i % 100 == 99:# 每100个批次打印一次平均损失print(f'[{epoch + 1}, {i + 1}] 损失: {running_loss / 100:.3f}')running_loss = 0.0print("训练完成")try:# 尝试加载名为'at vs dog_cnn.pth'的模型参数model.load_state_dict(torch.load('cat vs dog_cnn.pth'))print("已加载预训练模型")
except:print("无法加载预训练模型，使用未训练模型或训练新模型")# 如果没有预训练模型，可以在这里调用train函数train(model, criterion, optimizer, train_loader)# 保存训练后的模型参数torch.save(model.state_dict(), 'cat vs dog_cnn.pth')# 设置模型为评估模式，此时模型中的一些操作（如dropout、batchnorm等）会切换到评估状态
model.eval()

Grad-CAM定义

# Grad-CAM实现
class GradCAM:def __init__(self, model, target_layer):self.model = modelself.target_layer = target_layerself.gradients = Noneself.activations = None# 注册钩子，用于获取目标层的前向传播输出和反向传播梯度self.register_hooks()def register_hooks(self):# 前向钩子函数，在目标层前向传播后被调用，保存目标层的输出（激活值）def forward_hook(module, input, output):self.activations = output.detach()# 反向钩子函数，在目标层反向传播后被调用，保存目标层的梯度def backward_hook(module, grad_input, grad_output):self.gradients = grad_output[0].detach()# 在目标层注册前向钩子和反向钩子self.target_layer.register_forward_hook(forward_hook)self.target_layer.register_backward_hook(backward_hook)def generate_cam(self, input_image, target_class=None):# 前向传播，得到模型输出model_output = self.model(input_image)if target_class is None:# 如果未指定目标类别，则取模型预测概率最大的类别作为目标类别target_class = torch.argmax(model_output, dim=1).item()# 清除模型梯度，避免之前的梯度影响self.model.zero_grad()# 反向传播，构造one-hot向量，使得目标类别对应的梯度为1，其余为0，然后进行反向传播计算梯度one_hot = torch.zeros_like(model_output)one_hot[0, target_class] = 1model_output.backward(gradient=one_hot)# 获取之前保存的目标层的梯度和激活值gradients = self.gradientsactivations = self.activations# 对梯度进行全局平均池化，得到每个通道的权重，用于衡量每个通道的重要性weights = torch.mean(gradients, dim=(2, 3), keepdim=True)# 加权激活映射，将权重与激活值相乘并求和，得到类激活映射的初步结果cam = torch.sum(weights * activations, dim=1, keepdim=True)# ReLU激活，只保留对目标类别有正贡献的区域，去除负贡献的影响cam = F.relu(cam)# 调整大小并归一化，将类激活映射调整为与输入图像相同的尺寸（32x32），并归一化到[0, 1]范围cam = F.interpolate(cam, size=(256, 256), mode='bilinear', align_corners=False)cam = cam - cam.min()cam = cam / cam.max() if cam.max() > 0 else camreturn cam.cpu().squeeze().numpy(), target_class

可视化实现

classes = ('猫', '狗')
# 选择一个随机图像
idx = np.random.randint(len(test_data))
image, label = test_data[idx]
print(f"选择的图像类别: {classes[label]}")# 转换图像以便可视化
def tensor_to_np(tensor):img = tensor.cpu().numpy().transpose(1, 2, 0)mean = np.array([0.485, 0.456, 0.406])std = np.array([0.229, 0.224, 0.225])img = std * img + meanimg = np.clip(img, 0, 1)return img# 添加批次维度并移动到设备
input_tensor = image.unsqueeze(0).to(device)# 初始化Grad-CAM（选择最后一个卷积层）
grad_cam = GradCAM(model, model.conv2)# 生成热力图
heatmap, pred_class = grad_cam.generate_cam(input_tensor)# 可视化
plt.figure(figsize=(12, 4))# 原始图像
plt.subplot(1, 3, 1)
plt.imshow(tensor_to_np(image))
plt.title(f"原始图像: {classes[label]}")
plt.axis('off')# 热力图
plt.subplot(1, 3, 2)
plt.imshow(heatmap, cmap='jet')  
plt.title(f"Grad-CAM热力图: {classes[pred_class]}")
plt.axis('off')# 叠加的图像
plt.subplot(1, 3, 3)
img = tensor_to_np(image)
heatmap_resized = np.uint8(255 * heatmap)
heatmap_colored = plt.cm.jet(heatmap_resized)[:, :, :3]
superimposed_img = heatmap_colored * 0.4 + img * 0.6
plt.imshow(superimposed_img)
plt.title("叠加热力图")
plt.axis('off')plt.tight_layout()
plt.savefig('grad_cam_result.png')
plt.show()