学习80min快速了解大型语言模型（ChatGPT使用）笔记
学习李宏毅：80min快速了解大型语言模型（ChatGPT使用）笔记
链接：https://www.youtube.com/watch?v=wG8-IUtqu-s
1、创建一个属于自己的GPT
目前，GPT4具备一个功能，Create a GPT。利用这个功能可以创建一个“属于自己的GPT”。
例如：你有一门课的所有课件，使用这个功能，你可以将所有的PDF课件，传到GPT上，这样你就创建了一个属于这门课程的专用GPT4。
2、ChatGPT真正做的事——文字接龙
G: Generative
P: Pre-trained
T: Transformer
Chatgpt主要在做文字接龙，根据问题去接下一个字，然后再根据问题+生成的第一个字再去预测下一个字，一次类推，每次预测一个token，token是由程序员之前设定的，预测下一个字的时候会面临一个选择，也就是不同概率的一些字让chatgpt选择，有的概率大，有的概率小，但是是随机选择的（如果每次概率最大，可能会一直重复），所以chatgpt每次回答的答案都是不一样的。
这也是为什么ChatGPT经常会输出错误信息的原因。
ChatGPT进化
| GPT版本 | 模型参数量 | 训练数据 |
|---|---|---|
| GPT-1 | 117M | 1GB |
| GPT-2 | 1542M | 40GB |
| GPT-3 | 175B | 580GB |
| GPT-4 | ? | ? |
GPT3已经可以编程了
GPT3已经学习了很多数据，按理来说知识储备量已经够了，但是它只是空有一腔知识，而不知道怎么回答。它不知道怎么回答人类的问题，不知道自己的任务是需要回答问题。
它需要：
首先：预训练，在大量数据上进行预训练。
督导式学习：也就是说给它一些问答的数据让它学，让它明白自己的任务以及如何回答问题。
eg：台湾最高的山是那一座？玉山
增强式学习：人类不用去提供答案了，而是评价模型的输出的好坏。模型会对人类选择好的那条回答增加概率，反之降低概率。
3、高效使用GPT
1、把需求写清楚
2、提供咨询给ChatGPT，也就是把你所知道的资料都告诉他。因为它只是在做文字接龙
3、提供范例，也就是可以给Chatgpt提供一个例子
4、鼓励ChatGPT想一想。、
咒语：
- 请详细列出计算过程
- Let’s work this out in a step by step way to be sure we have the right answer.
- Let’s think step by step
5、可以上传文档
6、可以使用其他工具，比如 ML Paper Reader，就可以让chat帮你查找一些相关文献。使用插件之后，生成的内容正确率都还蛮高的。
7、拆解任务，将大任务拆解，你可以自己拆解，或者也可以让chatgpt拆解。
8、chatgpt其实会反省。你问它，请检查上述回答，它会自己反省（仅限GPT-4）