DAY42 Grad-CAM与Hook函数
@浙大疏锦行
知识点：
- 回调函数
- lambda函数
- hook函数的模块钩子和张量钩子
- Grad-CAM的示例
作业：理解下今天的代码即可
1 回调函数
定义：作为参数传递给其他函数的函数，目的是在某个特定时间发生时被调用执行。
核心价值：
- 解耦逻辑：将通用逻辑与特定处理逻辑分离，使代码更模块化。
- 事件驱动编程：在异步操作、事件监听（如点击按钮、网络请求完成）等场景中广泛应用。
- 延迟执行：允许在未来某个时间点执行特定代码，而不必立即执行。
# 定义一个回调函数
def handle_result(result):"""处理计算结果的回调函数"""print(f"计算结果是: {result}")# 定义一个接受回调函数的函数
def calculate(a, b, callback): # callback是一个约定俗成的参数名"""这个函数接受两个数值和一个回调函数，用于处理计算结果。执行计算并调用回调函数"""result = a + bcallback(result) # 在计算完成后调用回调函数# 使用回调函数
calculate(3, 5, handle_result) # 输出: 计算结果是: 8
关键区别：回调 vs 装饰器
| 对比维度 | 回调函数 | 装饰器 |
|---|---|---|
| 本质 | 作为参数传递的普通函数 | 用于包装函数的高阶函数 |
| 目标 | 在特定时机执行“下游任务” | 修改原函数的行为（增强功能） |
| 控制权 | 由外层函数决定何时调用 | 由装饰器主动修改原函数的执行流程 |
| 代码结构 | 外层函数调用回调（单向调用） | 装饰器返回新函数替代原函数（嵌套调用） |
| 常见场景 | 异步任务（如网络请求、文件读写的回调） | 权限校验、日志记录、性能监控等 |
2 lambda匿名函数
在hook中常常用到lambda函数，它是一种匿名函数（没有正式名称的函数），最大特点是用完即弃，无需提前命名和定义。它的语法形式非常简约，仅需一行即可完成定义，格式如下：
lambda 参数列表: 表达式
- 参数列表：可以是单个参数、多个参数或无参数。
- 表达式：函数的返回值（无需 return 语句，表达式结果直接返回）。
# 定义匿名函数：计算平方
square = lambda x: x ** 2# 调用
print(square(5)) # 输出: 25
3 Hook函数
Hook 函数是一种回调函数，PyTorch提供了 Module Hooks 和 Tensor Hooks 两种主要的hook，分别用于监听整个模块的输入和输出、监听张量的梯度。
3.1 Module Hooks
register_forward_hook：前向钩子
在前向传播时监听模块的输入和输出，在前向传播完成后立即被调用
def forward_hook(module, input, output):"""前向钩子函数，会在模块每次执行前向传播后被自动调用参数:module: 当前应用钩子的模块实例input: 传递给该模块的输入张量元组output: 该模块产生的输出张量"""print(f"钩子被调用！模块类型: {type(module)}")print(f"输入形状: {input[0].shape}") # input是一个元组，对应 (image, label)print(f"输出形状: {output.shape}")# 保存卷积层的输出用于后续分析# 使用detach()避免追踪梯度，防止内存泄漏conv_outputs.append(output.detach())
# 在卷积层注册前向钩子
# register_forward_hook返回一个句柄，用于后续移除钩子
hook_handle = model.conv.register_forward_hook(forward_hook)# 创建一个随机输入张量 (批次大小=1, 通道=1, 高度=4, 宽度=4)
x = torch.randn(1, 1, 4, 4)# 执行前向传播 - 此时会自动触发钩子函数
output = model(x)# 释放钩子 - 重要！防止在后续模型使用中持续调用钩子造成意外行为或内存泄漏
hook_handle.remove()
register_backward_hook：反向钩子
在反向传播时监听模块的输入梯度和输出梯度，在反向传播时调用
3.2 Tensor Hooks（张量钩子）
register_hook：用于监听张量的梯度register_full_backward_hook：用于在完整的反向传播过程中监听张量的梯度（PyTorch 1.4+）
# 创建一个需要计算梯度的张量
x = torch.tensor([2.0], requires_grad=True)
y = x ** 2
z = y ** 3# 定义一个钩子函数，用于修改梯度
def tensor_hook(grad):print(f"原始梯度: {grad}")# 修改梯度，例如将梯度减半return grad / 2# 在y上注册钩子
hook_handle = y.register_hook(tensor_hook)# 计算梯度
z.backward()print(f"x的梯度: {x.grad}")# 释放钩子
hook_handle.remove()
4 Grad-CAM
Grad-CAM (Gradient-weighted Class Activation Mapping) ：一种强大的可视化技术，用于解释卷积神经网络 (CNN) 的决策过程。
它通过计算特征图的梯度来生成类激活映射（Class Activation Mapping，简称 CAM ），直观地显示图像中哪些区域对模型的特定预测贡献最大。
核心思想：通过反向传播得到的梯度信息，来衡量每个特征图对目标类别的重要性。