初识大模型
前提：学习一项技术，要从原理、实践、认知三个方面进行攻克。
不懂原理就不会举一反三，走不了太远。
不懂实践就只能纸上谈兵，做事不落地。
认知不高就无法作对决策，天花板太低。
一、知识体系
二、什么是AI
基于机器学习、神经网络的是AI，基于规则、搜索的不是AI
三、大模型可以做什么
大模型，全称大语言模型，缩写LLM。
相关产品：
| 国家 | 对话产品 | 大模型 | 链接 |
| 美国 | OpenAI ChatGpt | GPT-3.5、GPT-4 | https://chat.openai.com/ |
| 美国 | Microsoft Copilot | GPT-4和未知 | https://copilot.microsoft.com/ |
| 美国 | Google Bard | PaLM和Gemini | https://bard.google.com/ |
| 中国 | 百度文心一言 | 文心 | https://yiyan.baidu.com/ |
| 中国 | 讯飞星火 | 星火 | https://xinghuo.xfyun.cn/ |
| 中国 | 智谱清言 | ChatGLM | https://chatglm.cn/ |
| 中国 | 月之暗面 | MoonShot | (https://kimi.moonshot.cn/ |
| 中国 | MiniMax星野 | abab | https://www.xingyeai.com/ |
注册 ChatGPT、Copilot 教程：https://agiclass.feishu.cn/docx/Jt8ydP0RroFCPaxcWGDcUzVrnnd#YtxodWqgdofsa8xb0GOcaD1nny5
把大模型看做是一个函数，给输入，生成输出。
任何业务问题，都可以用语言描述，成为大模型的输入，就能生成业务问题的结果。
实际工作中，通常需要将业务任务拆解为若干个子任务，分别解决。理解业务本质，对拆解任务有很大帮助！
四、大模型是怎么生成结果的
其实，他只是根据上文，猜下一个词(的概率)
OpenAI 的接口名就叫「completion」，也证明了其只会「生成」的本质。
用不严谨但通俗的语言描述大模型的工作原理：
1.大模型阅读了人类曾经说过的所有的话。这就是机器学习，这个过程叫训练。
2.把一大串token后面跟着的不同token的概率记了下来。记下的就是参数，也叫权重。
3.当我们给它若干token，大模型就能算出概率最高的下一个token是什么。这就是生成，也叫推理。
4.用生成的token，再加上上文，就能继续生成下一个token。以此类推，生成更多文字。
Token 是什么？
1. 可能是一个英文单词，也可能是半个，三分之一个。可能是一个中文词，或者一个汉字，也可能是半个汉字，甚至三分之一个汉字
2. 大模型在开训前，需要先训练一个 tokenizer 模型。它能把所有的文本，切成 token
再深一点呢，
这套生成机制的内核叫「Transformer 架构」。但其实，transformer 已经不是最先进的了。
| 架构 | 设计者 | 特点 | 链接 |
| Transformer | 最流行，几乎所有大模型 都用它 | https://github.com/openai/finetune-transformer-lm/blob/master/train.py | |
| RWKV | PENG Bo | 可并行训练，推理性能极佳，适合再端侧使用 | https://www.rwkv.com/)、[RWKV 5 训练代码](https://github.com/BlinkDL/RWKV-LM/tree/main/RWKV-v5 |
| Mamba | CMU & Princeton University | 性能更佳，尤其适合长文本生成 | https://github.com/state-spaces/mamba |
五、用好AI核心方法
OpenAI 首席科学家 Ilya Sutskever 说过：
数字神经网络各和人脑的生物神经网络，在数学原理上是一样的。
所以重点是把AI当人看。
六、大模型应用架构
1.业务架构
Agent还太超前，Copilot值得追求。
2.技术架构
纯 Prompt
就像和一个人对话，你说一句，ta 回一句，你再说一句，ta 再回一句……
Agent + Function Calling
- Agent：AI 主动提要求
- Function Calling：AI 要求执行某个函数
- 场景举例：你问过年去哪玩，ta 先反问你有几天假
RAG = Embeddings + 向量数据库
- - Embeddings：把文字转换为更易于相似度计算的编码。这种编码叫向量
- - 向量数据库：把向量存起来，方便查找
- - 向量搜索：根据输入向量，找到最相似的向量
- - 场景举例：考试时，看到一道题，到书上找相关内容，再结合题目组成答案。然后，就都忘了
Fine-tuning
努力学习考试内容，长期记住，活学活用。
七、编程调用API
官方文档：https://platform.openai.com/docs/api-reference
主打语言是Python，因为：
1. Python 和 AI 是天生的一对
2. Python 是最容易学习的编程语言
安装 OpenAI Python 库
在命令行执行：
pip install --upgrade openai