【nlp】4.3 nlp中常用的预训练模型（BERT及其变体）

nlp中常用的预训练模型

• 1 当下NLP中流行的预训练模型¶
• • 1.1 BERT及其变体
  • 1.2 GPT
  • 1.3 GPT-2及其变体
  • 1.4 Transformer-XL
  • 1.5 XLNet及其变体
  • 1.6 XLM
  • 1.7 RoBERTa及其变体
  • 1.8 DistilBERT及其变体
  • 1.9 ALBERT
  • 1.10 T5及其变体
  • 1.11 XLM-RoBERTa及其变体
• 2 预训练模型说明¶
• 3 预训练模型的分类