大语言模型工作原理笔记
大语言模型工作原理笔记
一、词向量：表示语言的方式
- 大语言模型使用词向量来表示单词，每个词向量是由一串数字组成的列表，代表词空间中的一个点。
- 词空间中，含义相近的词位置更接近，例如"猫"的词向量会靠近"狗"、"小猫"等词向量。
- 词向量的好处:
- 可以进行数值运算，例如"最大" - “大” + “小” = “最小”。
- 能够捕捉词语之间的微妙关系，例如"瑞士人"与"瑞士"的关系类似于"柬埔寨人"与"柬埔寨"的关系。
- 可以根据上下文用不同的向量来表示同一个词，解决多义词问题，例如"银行"可以指金融机构或河岸。
二、Transformer：大语言模型的基石
- Transformer是一种神经网络结构，由多个层组成，每层都接收一系列词向量作为输入，并添加信息以更好地预测下一个词。
- Transformer 的两个核心处理过程：
- 注意力机制: 词汇会观察周围，寻找具有相关背景并彼此共享信息的词，并通过查询和关键项链的匹配来传递信息。
- 潜会层: 每个词会思考之前注意力步骤中收集到的信息，并尝试预测下一个词。
- 注意力机制:
- 可以将其视为单词之间的"撮合服务"，每个词会制作查询和关键项链来描述自己和寻找的词，并通过比较找到最佳匹配的词。
- 拥有注意力头，每个注意力头专注于不同的任务，例如匹配代词和名词、解析多义词等。
- 潜会层:
- 可以访问注意力头提供的上下文信息，并通过模式匹配来预测下一个词。
- 早期层倾向于匹配特定单词，后期层则匹配更广泛类别的短语。
- 可以通过向量运算进行推理，例如将国家转化为首都。
- 注意力机制和潜会层的分工：注意力机制从提示中检索信息，而潜会层让语言模型记住未在提示中出现的信息。
三、训练：让模型学习语言
- 大语言模型通过预测文本段落中的下一个词来学习，不需要人工标记数据。
- 训练过程：
- 前向传播: 输入文本，检查模型预测的下一个词是否正确。
- 反向传播: 根据预测结果调整模型的权重参数，使模型做出更好的预测。
- 训练需要大量的数据和计算资源，例如 GPT-3 在 5000 亿个单词的语料库上进行训练，需要运行数月才能完成。
四、模型规模与能力：越大越好
- 研究表明，模型规模越大，在语言任务上的表现越好。
- 模型规模的增大带来了更强的推理能力，例如 GPT-3 在心智理论任务上的表现接近人类儿童。
五、结论
大语言模型通过学习大量文本数据，能够以惊人的准确度预测下一个词，并展现出一定的推理能力。虽然其内部工作机制尚未被完全理解，但其强大的能力和潜力已不容忽视。