大模型关键字解释
💡 一、模型结构关键词
1. Transformer
Transformer 是一种专门用来“理解文字”的神经网络结构。就像一个聪明的秘书，能同时看懂整段话的所有词之间的关系，而不是像老式模型那样一句一句读。
👉 举例：以前的模型像一个机器人一字一句看句子，而 Transformer 像是一个能一眼扫完全文并抓住重点的读者。
2. Encoder / Decoder
- Encoder（编码器）：负责把输入的文字变成“理解用”的数字信息。
- Decoder（解码器）：把理解后的信息变成一句完整的回复或新内容。
👉 举例：输入“我饿了”，Encoder 会理解你是饿了，Decoder 会回复“那你去吃点东西吧”。
3. Attention / Self-Attention
这是一种让模型“关注重点词”的机制。比如“狗追着猫跑”，模型要知道谁在追谁，就要重点关注“狗”和“追”。
👉 举例：你读一句话时，也会自动注意重要的词，Attention 就是模型的“注意力”。
4. Feed Forward
一个普通的神经网络层，用来把每个词的理解结果进一步加工。
👉 类比：就像你理解完每个词之后，还要在脑子里再想一下它具体的含义。
5. Residual
让模型保留旧信息，避免忘掉之前学的内容。
👉 类比：像你在写作业时，在旁边保留一个草稿记录，避免前后逻辑出错。
6. Positional Encoding
Transformer 本身不理解词语的顺序，所以要专门加上“位置信息”。
👉 举例：句子“我爱你”和“你爱我”意思不同，模型需要知道“我”和“你”的位置才能理解准确。
📘 二、训练机制关键词
1. Pretraining（预训练）
模型最初要在大量文本上自学语言规律，相当于打基础。
👉 举例：就像你上小学之前，要先学拼音和字母。
2. Fine-tuning（微调）
在预训练之后，模型可以针对具体任务（如答题、写诗）进行专门训练。
👉 类比：基础学完后，你可以专门练习写作文或做数学题。
3. Masked Language Modeling（MLM）
训练方式是“填空题”式：随机遮住句子中的某些词，让模型猜出是什么词。
👉 举例：输入“我今天很 [MASK]”，模型要猜“开心”或“难过”。
4. Causal Language Modeling（因果语言建模）
只能看到前面词，来预测下一个词。
👉 举例：你说“我今天去”，模型要猜你下一步是“上班”还是“旅游”，不能偷看后面的词。
5. Next Sentence Prediction
训练模型判断“两句话是否有关联”。
👉 举例：一句是“我今天生病了”，下一句是“我请了假”，模型要学会识别这两句是连贯的。
⚙️ 三、推理部署关键词
1. KV Cache
缓存之前生成的结果，避免重复计算。
👉 类比：你和朋友聊天，不需要每次都从第一句重复讲，模型也可以记住前文。
2. Quantization（量化）
把模型参数从大数字变成小数字，压缩模型，加快运行。
👉 举例：就像把高清图片压缩成小图，但尽量不影响清晰度。
3. LoRA（低秩适配）
只调整少部分模型参数来完成微调，节省资源。
👉 类比：给现有软件加一个插件，而不是重新写整个程序。
4. FP16 / INT8
模型的“计算精度”。FP16 是半精度，INT8 是 8位整数。
👉 举例：像把原本需要用“毫米”测量的东西，换成“厘米”测量，快但略有损失。
5. Batching
同时处理多个输入，提高效率。
👉 类比：不是一个一个炒菜，而是开大锅做十份菜。
✨ 四、提示词工程关键词
1. Prompt
给模型的提示或问题。
👉 举例：你问“写一首关于夏天的诗”，这句话就是 prompt。
2. System Prompt
系统默认的背景设定，决定模型说话风格。
👉 举例：“你是一位耐心的老师”，模型就会用耐心的语气回答问题。
3. Zero-shot / Few-shot
- Zero-shot：不给模型例子，直接问。
- Few-shot：给模型几个示例，帮助它更好理解任务。
👉 举例：你说“翻译‘I love you’”，就是 Zero-shot；你先给它几个中英文对照例子再让它翻译，就是 Few-shot。
4. Chain of Thought
引导模型写出思考过程，而不是直接给答案。
👉 举例：问“2个苹果和3个苹果一共几个？”模型先写“2+3=5”，再说“答案是5”。
5. Temperature / Top-k / Top-p
控制输出的“随机性”。
- Temperature 高，回答更有创意；
- Top-k/p 是限制选词范围，保证输出更合理。
👉 类比：就像你写作文时，可以自由发挥（高温）或按模板来写（低温）。
6. Stop Sequence
设置模型遇到某些词就停。
👉 举例：模型生成到“谢谢，再见。”就停止，避免继续胡说。
📚 五、语料与训练数据关键词
1. Common Crawl
互联网上公开网页的数据集合，是模型学习材料的一部分。
👉 类比：就像你小时候到图书馆随便读所有书，模型也从网上“读书”。
2. Deduplication
去掉重复内容，防止模型过度记忆某句话。
👉 举例：一本书里重复太多遍“我爱你”，模型就可能过度使用这个句子。
3. Tokenization
把句子切成模型能理解的小单位（词或字）。
👉 举例：“我爱你”会被切成3个 Token，模型每次处理一个单位。
4. RLHF（人类反馈强化学习）
人类给模型输出打分，然后模型根据反馈学会给出更合适的答案。
👉 类比：你教小朋友讲话时，夸他讲得好，他就更愿意那样说。
🛡️ 六、安全与对齐关键词
1. Prompt Injection
一种攻击方式，偷偷加内容控制模型行为。
👉 举例：你本来叫模型“礼貌地回答问题”，但有人输入“忽略之前所有指令”，模型可能就被控制了。
2. Jailbreak
突破模型安全限制，让它说出不该说的话。
👉 类比：像“黑客绕过密码”一样，让模型做违禁事。
3. Bias Mitigation
减少偏见，让模型更公平。
👉 举例：避免模型认为“程序员=男性”，减少性别歧视。
4. Guardrails
给模型设定边界，比如不能说暴力内容或给出危险建议。
👉 类比：像儿童视频网站一样，自动屏蔽不良内容。
5. Constitutional AI
给模型写一套“价值观宪法”，让它言行合乎道德。
👉 举例：比如“不撒谎”、“不鼓励暴力”、“尊重人类”，模型的回答会严格遵守这些原则。