peft.LoraConfig()参数说明
LoraConfig()介绍
LoraConfig()是peft库中的一个配置类，用于设置大模型微调方法LoRA（Low-Rank Adaptation）的相关参数。PEFT 库为各种参数高效的微调方法（如 LoRA）提供了封装，以减少微调大模型时的计算资源和存储需求。
LoraConfig()参数说明
1、task_type：
描述: 用来指定 LoRA 要适用于的任务类型。不同的任务类型会影响模型中的哪些部分应用 LoRA 以及如何配置 LoRA。根据不同的任务，LoRA 的配置方式可能会有所不同，特别是在模型的某些特定模块（如自注意力层）上。
可选值:
"CAUSAL_LM": 自回归语言模型（Causal Language Modeling）。适用于像 GPT 这样的自回归语言模型，这类模型通常在生成任务上使用。"SEQ_2_SEQ_LM": 序列到序列语言模型（Sequence-to-Sequence Language Modeling）。适用于像 T5 或 BART 这样的序列到序列模型，这类模型通常用于翻译、摘要生成等任务。"TOKEN_CLS": 标注任务（Token Classification）。适用于命名实体识别（NER）、词性标注等任务。"SEQ_CLS": 序列分类（Sequence Classification）。适用于句子分类、情感分析等任务。"QUESTION_ANSWERING": 问答任务（Question Answering）。适用于问答模型，如 SQuAD 等数据集中的任务。"OTHER": 适用于其他自定义任务，或者模型的任务类型不明确时。
2、target_modules:
- 描述: 指定应用 LoRA 的目标模型模块或层的名称。这些是模型中应用 LoRA 低秩分解的参数，通常是网络中的线性层（如
query,value矩阵）。 - **数据类型：**Union[List[str], str]
- 默认值:
None - 典型值:
["query", "value"]或类似参数，具体依赖于模型结构。
3、r（Rank Reduction Factor）：
- 描述：LoRA 的低秩矩阵的秩（rank）。
r是低秩矩阵的秩，表示将原始权重矩阵分解成两个更小的矩阵，其乘积近似原始权重矩阵。r越小，模型的计算开销越低。 - 数据类型：
int - 典型值：通常在 4 到 64 之间。
4、lora_alpha：
- 描述：缩放因子，用于缩放 LoRA 的输出。通常在 LoRA 层的输出会被
lora_alpha / r缩放，用来平衡学习效率和模型收敛速度。 - 数据类型：
int - 典型值：
r的 2 到 32 倍之间。
5、lora_dropout：
- 描述：应用于 LoRA 层的 dropout 概率。这个参数用来防止过拟合，特别是在小数据集上训练时，使用 dropout 可以提高模型的泛化能力。
- 数据类型：
float - 典型值：0.1 或者更低。
6、bias：
- **描述：**用于控制是否训练模型的偏置项（bias）。可以设置为
none（不训练 bias）、all（训练所有 bias）、或者lora_only（仅对 LoRA 层的偏置项进行训练）。 - 数据类型：
str - 典型值：
none或lora_only。
7、modules_to_save :
- 描述: 指定除了 LoRA 层之外，还需要保存哪些额外的模块。这通常用于微调时只保存 LoRA 层的权重，同时保存某些特殊的模块（例如全连接层）。
- 数据类型：
Optional[List[str]] - 默认值:
None - 典型值:
["classifier", "pooler"]或类似参数。
8、init_lora_weights :
- 描述: 控制 LoRA 层的权重是否在初始化时进行随机初始化。如果设置为
True，则会使用标准初始化方法；否则，将不进行初始化。 - 数据类型：
bool - 默认值:
True
9、inference_mode :
- 描述: 如果设置为
True，则模型只在推理阶段使用 LoRA。此模式下，LoRA 的权重会被冻结，不会进行训练。适用于将微调后的模型用于推理场景。 - 数据类型：
bool - 默认值:
False
参数组合示例
下面是一个配置 LoRA 的例子，使用 LoRA 对自注意力层中的 query 和 value 矩阵进行低秩分解，并使用 dropout：
from peft import LoraConfig, TaskTypelora_config = LoraConfig(task_type=TaskType.CAUSAL_LM, # 微调模型为自回归模型r=16, # LoRA 低秩分解的秩lora_alpha=32, # LoRA 缩放因子target_modules=["query", "value"], # 目标模块lora_dropout=0.1, # Dropout 概率bias="none", # 不训练 biasmodules_to_save=["classifier"], # 额外保存分类器模块init_lora_weights=True, # 初始化 LoRA 层权重inference_mode=False # 允许训练
)参数总结
- r 和 lora_alpha 决定了 LoRA 的低秩分解程度及其影响范围。
- target_modules 决定了 LoRA 应用于哪些层，通常是模型的关键参数层。
- lora_dropout 和 bias 提供了额外的正则化和训练细节控制。
- modules_to_save 则可以灵活地控制哪些部分需要保存，确保推理时模型可以正确加载。
注意：
1、常用的参数就task_type、target_modules、inference_mode、r、lora_alpha、lora_dropout这些
2、按任务需求和算力配置r大小，r不是越大越好
参考文献：
1、Lora微调训练参数解读_lora微调参数详解-CSDN博客
2、PEFT LoraConfig参数详解-CSDN博客