联邦学习的 AI 大模型微调中，加性、选择性、重参数化和混合微调

联邦学习的 AI 大模型微调中，加性、选择性、重参数化和混合微调

在联邦学习的 AI 大模型微调中，加性、选择性、重参数化和混合微调是不同的操作方式，具体如下：

• 加性微调
  • 定义与原理：加性微调是在原始模型的基础上添加额外的可训练参数来进行模型调整。这种方式不会改变原始模型的主体结构，而是通过引入新的参数来捕捉特定任务或数据的特征，从而提高模型在特定场景下的性能。
  • 举例：在 Transformer 块的自注意力层和前馈神经网络层后插入可训练适配器（Adapter）就是一种加性微调方法。例如在自然语言处理任务中，对于一个预训练的语言模型，当需要针对特定领域（如医学文献处理）进行微调时，在模型的关键层添加 Adapter。这些 Adapter 可以学习到医学领域特有的语义和语法模式，而不会影响原始模型在其他通用领域的知识和能力。通过在大量医学文本数据上对这些 Adapter 进行训练，模型能够更好地适应医学领域的语言处理任务，如医学文献的分类、信息提取等。
• 选择性微调
  • 定义与原理：选择性微调利用特定的算法或准则，从原始模