huggingface 笔记： Trainer

• Trainer 是一个为 Transformers 中 PyTorch 模型设计的完整训练与评估循环
• 只需将模型、预处理器、数据集和训练参数传入 Trainer，其余交给它处理，即可快速开始训练
• 自动处理以下训练流程：

  • 根据 batch 计算 loss

  • 使用 backward() 计算梯度

  • 根据梯度更新权重

  • 重复上述流程直到达到指定的 epoch 数

1 配置TrainingArguments

使用 TrainingArguments 定义训练超参数与功能选项

from transformers import TrainingArgumentstraining_args = TrainingArguments(。。。
)

1.1 主要参数

2 传入Trainer

然后将模型、数据集、预处理器和 TrainingArguments 传入 Trainer，调用 train() 启动训练：

from transformers import Trainertrainer = Trainer(model=model,args=training_args,train_dataset=dataset["train"],eval_dataset=dataset["test"],processing_class=tokenizer,data_collator=data_collator,compute_metrics=compute_metrics,
)trainer.train()

2.1 传入自定义模型时，需要的条件 

• 模型始终返回元组（tuple）或 ModelOutput 的子类
  • 
• 若传入了 labels 参数，你的模型能够计算损失，并将损失作为返回元组的第一个元素

2.2 参数说明

 2.3 compute_loss 方法

3 checkpoints 检查点

• Trainer 会将检查点（默认为不保存优化器状态）保存到 TrainingArguments 中的 output_dir 路径下的子目录 checkpoint-000 中
  • 结尾数字表示保存该检查点的训练步数
• 保存检查点有助于在中断后恢复训练。
  • 可通过在 train() 中设置 resume_from_checkpoint 参数来从最近或指定的检查点恢复：

  • trainer.train(resume_from_checkpoint=True)
    

 4 日志记录

• 默认情况下，Trainer 使用 logging.INFO 级别输出错误、警告和基本信息
• 可以通过 log_level() 修改日志级别

import logging
import syslogger = logging.getLogger(__name__)
#使用当前模块名 __name__ 创建一个 loggerlogging.basicConfig(format="%(asctime)s - %(levelname)s - %(name)s - %(message)s",datefmt="%m/%d/%Y %H:%M:%S",handlers=[logging.StreamHandler(sys.stdout)],
)
'''
format: 控制日志的格式，包括：%(asctime)s：时间戳%(levelname)s：日志级别（INFO、WARNING、ERROR 等）%(name)s：logger 的名字（这里是模块名）%(message)s：日志正文内容datefmt: 时间格式为“月/日/年 时:分:秒”handlers: 使用 sys.stdout，把日志输出到终端（而不是默认的 stderr）类似于这样的格式：07/09/2025 10:30:21 - INFO - __main__ - 正在加载模型
'''log_level = training_args.get_process_log_level()
#从 TrainingArguments 中获取当前训练进程应使用的日志级别logger.setLevel(log_level)
datasets.utils.logging.set_verbosity(log_level)
transformers.utils.logging.set_verbosity(log_level)
'''
这三行分别设置：当前模块的日志等级；datasets 库的日志等级；transformers 库的日志等级。
'''trainer = Trainer(...)

5 自定义功能

• 可以通过继承 Trainer 或重写其方法，来添加所需功能，而无需从零开始编写训练循环

5.1 举例：自定义compute_loss

from torch import nn
from transformers import Trainerclass CustomTrainer(Trainer):def compute_loss(self, model, inputs, return_outputs=False, num_items_in_batch=None):labels = inputs.pop("labels")#从输入中取出 labels，其余留作模型输入outputs = model(**inputs)logits = outputs.get("logits")#通过模型获取输出。#模型返回一个字典，里面包含 logits（每个token的概率)。reduction = "mean" if num_items_in_batch is not None else "sum"'''reduction 控制 loss 的聚合方式："sum"：默认对所有样本 loss 求和；"mean"：如果指定了 num_items_in_batch，最终会除以样本数，等价于平均 loss。'''loss_fct = nn.CrossEntropyLoss(weight=torch.tensor([1.0, 2.0, 3.0], device=model.device), reduction=reduction)#三类标签设置不同权重。第0类权重为1.0，第1类为2.0，第2类为3.0loss = loss_fct(logits.view(-1, self.model.config.num_labels), labels.view(-1))'''将 logits 和 labels reshape 为二维，以满足 CrossEntropyLoss 的输入要求：logits: [batch_size, num_labels]labels: [batch_size]'''if num_items_in_batch is not None:loss = loss / num_items_in_batchreturn (loss, outputs) if return_outputs else loss'''若 return_outputs=True，则返回 (loss, outputs)；否则只返回 loss'''

其他函数自动继承