训练用于序列分类任务的 RoBERTa 模型的适配器

介绍

NLP当前的趋势包括下载和微调具有数百万甚至数十亿参数的预训练模型。然而，存储和共享如此大的训练模型非常耗时、缓慢且昂贵。这些限制阻碍了 RoBERTa 模型开发更多用途和适应性更强的 NLP 技术，该模型可以从多个任务中学习并针对多个任务进行学习；在本文中，我们将重点关注序列分类任务。考虑到这一点，提出了适配器，它们是小型、轻量级且参数高效的完全微调替代方案。它们基本上是小型瓶颈层，可以使用基于不同任务和语言的预训练模型动态添加。

读完本文后，您将了解以下内容：

• 如何在 Amazon Polarity 数据集上训练 RoBERTa 模型的适配器以执行序列分类任务？
• 如何使用经过训练的带有 Hugging Face 管道的适配器来帮助快速进行预测？
• 如何从训练好的模型中提取适配器并保存以供以后使用？
• 如何通过停用和删除适配器来将基本模型的权重恢复到原始形式