人工智能大模型（LLM）论文17道菜
人工智能、LLM经典论文17道菜
跟着B站李沐精读论文，并自己下载arxiv原文阅读。本篇只作为一个菜单，因为本人本科期间学习的CV，本科毕业期间开始转向多模态大模型，研究生期间为多模态大模型强化学习。
这个列表为研0期间学习清单，能够激发我的兴趣并了解一些经典技术的出处。对于计算机视觉的可能不太适合（应该看CV相关经典文章，这里只列了一小部分），对于大模型相关研究方向的比较适合，值得一读。
相关论文直接复制标题在搜索引擎或arxiv搜索即可找到。
1.AlexNet：ImageNet Classification with Deep Convolutional Neural Networks
在当时训练了一个大型的深度卷积神经网络并使用RELU效果在ImageNet测评很好
2.ResNet:Deep Residual Learning for Image Recognition
提出了一个残差学习框架，以简化比以前使用的网络更深的网络的训练
3.BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
预训练模型、完形填空地进行训练，后续使用时在特定任务上进行微调。
4.GAN：Generative Adversarial Nets
生成对抗网络，在该框架中，我们同时训练两个模型: 捕获数据分布的生成模型g，以及估计样本是否为生成的判别模型D。（生成器和判别器）
5.GNN、GCN
图神经网络，网页版论文。使用图结构进行神经网络的搭建。
distill.pub/2021/gnn-intro/
6.Transformer:Attention Is All You Need
神作！提出了transformer编码器和解码器，其中解码器使用带掩码的多头注意力。
7.ViT：AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
视觉transformer，将transformer用到CV工作中，切块、添加位置编码。
8.MAE：Masked Autoencoders Are Scalable Vision Learners
仿照Bert，只露出一点图片信息进行学习，预测剩余部分，编码器解码器架构。
9.GPT：Improving Language Understanding by Generative Pre-Training
通用大语言模型，分类、预测等都行，主要思路为使用transformer通过前一个词预测下一个词，做一个大模型。
10.GPT-2：Language Models are Unsupervised Multitask Learners
被Bert打败后，又加大数据量，1.5B参数，监督学习效果比GPT效果好，GPT-2证明了无监督学习在加大数据量还有很大提升空间，zero-shot task.但并没有特别出色。
11.GPT-3：Language Models are Few-Shot Learners
175B参数，prompt开始牛了，页数非常多，主要讲述实验，使用少样本学习了，就是告诉大模型一部分该怎么做，让他根据少样本生成。
12.CoT：Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
主要发现在模型prompt中加入：“让我们一步一步来思考”
让大模型进行思维链的构建，更能提升结果准确性。推理模型在这个基础上开始流行。
13.InstructGPT：Training language models to follow instructions with human feedback
即大模型的全参数微调技术诞生，通过40个合同工标注数据，并使用强化学习来对生成的答案进行一个偏好排序。将新做好的数据喂给GPT-3，得到了效果非常好的新模型，强化学习训练大模型的思路。
14.Claude：Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback
RLHF，在线使用强化学习（每周更新奖励函数和策略用来更新一次模型）。不关注有害性可超越人类写手。
15.HELM：Holistic Evaluation of Language Models
早期的大语言模型全面评测论文（劳民伤财啊！）
16.CLIP：Learning Transferable Visual Models From Natural Language Supervision
图片-文本，多模态对齐。
17.SAM：Segment Anything
视觉大模型，分割万物。
目前这是本人研0开学前读过的一些经典文章，仅作为自我论文读完的总结清单，可参考，后续如果积累够多，会发一些大模型的前沿论文和强化学习的一些文章